汉晋属鲜卑，唐属室韦都督府，辽属东京道室韦部，金属上京蒲给路，元属辽阳行省开元路，明属奴儿干都司，清初，始属宁古塔将军管辖。
清康熙二十二年（1683），在黑龙江上游呼玛尔河口附近，修建呼玛尔木城，改隶黑龙江将军管辖，属黑龙江副都统辖区。
清雍正五年（1727），黑龙江将军于呼玛尔城设置呼玛尔卡伦。
清宣统元年（1909），于呼玛尔河口设置呼玛尔河总卡官，节制呼玛尔河、依西肯、倭西门、安干、察哈彦、望哈达卡伦。
隶属瑷珲兵备道。
1912年7月1日，设置呼玛厅设治局。
1914年1月11日批准，将呼玛厅设治局改为呼玛县，为二等县，隶属黑河道。
1929年4月，提升为一等县。
由黑龙江省直辖，1934年12月划归黑河省管辖。
1945年抗日战争胜利后，隶属黑龙江省管辖。
1947年3月，改隶黑河专区管辖。
1970年4月，划归大兴安岭地区管辖。
名称沿用至今。