河南蒙古族自治县位于青藏高原东部,青海省的东南部,九曲黄河第一右旋弯曲部的弦部的南端。东临甘肃藏族自治州夏河县、碌曲县,南临甘南藏族自治州玛曲县,西北与青海省果洛藏族自治州玛沁县和海南州同德县毗连,北与黄南藏族自治州泽库县为邻。县区东西长127.67公里,南北宽94.36公里,土地总面积6997.45平方公里,折合1049.62万亩,占青海省总面积的0.89%。县城优干宁镇位于县境北部优干宁滩,北距黄南州首府隆务镇137公里,距省会西宁市328公里。地理位置西倚青藏,东襟甘陇,北通宁海,南望川康,是青、甘、川三省津要之所在。
河南县地势总趋势是东北高、西南低,大部分地区海拔在3600米以上,最高海拔4539米,最低海拔3168米,高差1317米。地貌类型属典型青南浅切割高山区。其中山地面积约806.11万亩,占总面积的76.80%;滩地面积约为160.59万亩,占全县总面积的15.30%;丘陵面积约73.20万亩,占全县总面积的7%,谷地面积4.20万亩,占全县总面积的0.4%。