汉晋以前为羌地。
周至汉代曾为“诺木洪文化”分布区。
南北朝时期为吐谷浑国属地。
隋大业五年（609），隋军破吐谷浑国，将其纳入隋王朝版图，格尔木地区隶西海郡威定县。
隋亡后吐谷浑复其故地。
唐初吐蕃国兴起，攻灭吐谷浑国，格尔木即被吐蕃统治。
北宋时格尔木曾一度隶属于唃厮啰政权。
元代为吐蕃等处宣慰使司辖区。
明初属曲先卫辖区。
从正德七年（1512）始，格尔木成为东蒙古属地。
明末清初，属厄鲁特蒙古和硕特部（西蒙古）属地。
清雍正三年（1725）后，格尔木属青海蒙古左翼盟和硕特西右中旗，俗称台吉乃尔旗。
1917年，格尔木隶属都兰理事管辖。
1952年，格尔木解放。
1956年3月1日，格尔木工作委员会成立，为县级领导机构。
1960年11月17日，撤销格尔木工作委员会，改设格尔木市。
1964年6月5日，国务院批准撤销唐古拉山工作委员会，并将行政区域归格尔木市。
1965年3月27日，格尔木市撤市设县。
1980年6月14日，又撤县设市。
1992年5月，格尔木被确定为青海省计划单列市。
2000年9月，升为副地级市。
2001年8月，设立东城行政委员会、西城行政委员会和察尔汗行政委员会，作为市政府的派出机构。