古属羌地，与世居河西走廊的古老民族月氏（ròuzhī）人毗邻。
汉高祖六年（前201）月氏人遭匈奴人攻击，大部西迁，小部分南入祁连山，称小月氏，与海北地区羌人杂居。
西汉神爵元年（前61），置临羌县，今州境东南部属临羌县，隶金城郡。
新莽在今海晏县设置西海郡，治龙夷城（今海晏县三角城），今海晏、刚察县为西海郡辖区。
更始元年（23），郡废，复为羌地。
东汉永元十四年（102），移金城西部都尉驻此，今海晏、刚察县仍属之。
三国时，今海晏县属西平郡临羌县地，今州境其余地区仍为羌地。
西晋因之。
前凉时，分属西平郡长宁县、西平郡临羌县、祁连郡和鲜卑乙弗部（又称“乙弗勿敌国”）。
北魏时，州境大部为吐谷浑(tǔyùhún)国地，仅今门源县属西平郡西都县。
孝明帝孝昌二年（526），今门源回族自治县入吐谷浑。
隋大业五年（609），破吐谷浑，在其故地置郡县，今刚察、海晏、祁连3县西海郡属宣德县。
隋亡，吐谷浑复其故地。
唐龙朔三年（663），入吐蕃。
北宋初属唃厮啰(ɡūsīluō)地方政权辖地。
崇宁三年（1104），分属湟州和吐蕃诸部。
政和六年（1116），北宋于此置震武军，治在今门源回族自治县克图乡古城，隶熙河兰湟路。
元属吐蕃等处宣慰使司，隶宣政院。
明初州境大部分地区为藏族部落居地。
明洪武八年（1375），置罕东百户所于今刚察县，洪武三十年（1397），改为罕东卫。
罕东卫西移后，今刚察县隶朵甘行都指挥使司。
清雍正二年（1724），设大（dài）通卫于北大通城（今门源回族自治县浩门镇），隶西宁府，今门源全境和祁连县东部属之。
次年，分置和硕特北右旗、前左头旗、西右前旗、南左末旗、南右后旗、东上旗，统归钦差办理青海蒙古番子事务大臣（简称青海办事大臣或称西宁办事大臣）节制。
雍正五年（1727），又于卫治置大通镇。
雍正十三年（1735），裁大通镇改设大通协，归西宁镇总兵节制。
乾隆九年（1744），移大通卫治于白塔（今大通回族土族自治县老城关），今门源全境和祁连东部仍为大通卫辖地。
乾隆二十六年（1761），省卫置大通县，今门源全境和祁连东部属大通县，隶西宁府。
1917年，海晏属湟源县和都兰理事公署。
1929年，析置亹源县，直属于青海省，今刚察县为都兰理事公署辖区。
1937年，改设海晏设治局。
1939年由门源县析置祁连设治局。
1943年，设海晏县，直属青海省。
1953年12月，设海北藏族自治区(地级)，自治区人民政府驻亹源回族自治县浩门镇，1955年，改海北藏族自治区为自治州，州人民政府驻地不变。
1959年，改亹源回族自治县为门源回族自治县。
1993年7月，州人民政府驻地迁至西海镇。