色达县平均海拔4000米左右，整个地势由西北向东南倾斜，西北高，东南低。色达县全境大部分为典型的丘状高原，西北部溪河密布，排水不畅，沼泽发育。级差小于30度，少数山峰凸出于高原面700-900米，海拔4000米以上为典型的丘原地貌，相对高度500-1000米；海拔3500以下的巴尔坝河谷地带，河流深切，流水浸蚀严重，为高原山原地貌。总面积中高原面积约占84%；山原占15%；平坝占1%。
色达县地处四川省、青海省以及阿坝州、甘孜州、青海省果洛州相交处，以及壤塘县、甘孜县、炉霍县、石渠县、达日县、班玛县的结合部，东邻阿坝藏羌族自治州壤塘县，北与青海省班玛、达日两县接壤，西、南分别与甘孜州的甘孜、炉霍两县毗邻。
色达县境内地形复杂。地处巴颜喀拉山南麓，大地构造属川西地槽系巴颜喀拉山褶皱带，全境海拔大多在4000米以上，整个地势由西北向东南倾斜，西北高，东南低。色达县全境大部分为典型的丘状高原，西北部溪河密布，排水不畅，沼泽发育。
