清初称“察霍勒屯”，“察霍勒”为蒙古语"水鹳鸟"之意。
清末设置驿站，为“布海（布特哈--海伦）官道”第三站，故又称三站。
清初，克山一带为鄂伦春、鄂温克、达斡尔等游牧民族的狩猎区，归布特哈总管管辖。
清光绪三十二年（1906），隶属东布特哈总管管辖。
清宣统元年（1909），"布海官道"修竣后，在今克山镇设第三站，翌年改隶讷河直隶厅管辖。
1913年讷河县于此设置察霍镇。
1915年3月，划归克山设治局，同年8月改隶克山县，遂为县城。
1929年全县划分为5个大区，属第一区境内。
东北沦陷后，1933年设县城保，1938年改设克山街。
1945年"九三"抗日战争胜利后，1946年将克山街划为第一区、第二区和城郊区。
1948年8月，将县城内第一区与第二区合并为城关区，1952年改为第一区。
1955年5月，改为城关镇，同年10月改为克山镇。
1958年9月，改称克山镇人民公社。
1980年恢复克山镇名称，名称沿用至今。