清同治八年（1869），青山被列为江夏六镇之一，境域为北乡，辖保安一、保安二、永丰一、永丰二、招贤、横山6里。
1927年废道，武昌县直属湖北省，设16区，青山为武昌县第八区。
1934年，武昌县隶湖北省第一行政督察区，设10区，为武昌县第六区。
1937年，武昌县设5区，为武昌县第五区。
1938年10月，武昌沦陷。
次年，国民政府设敌后武昌县政府，隶鄂南行政专署，为敌后武昌县政府辖地。
1942年，中共在武昌县北设立武鄂政务委员会抗日民主政府，为武鄂政务委员会抗日民主政府辖地。
1945年８月，日本投降，武昌县隶湖北省第一行政专署，属武昌县。
1949年5月，武昌县解放。
6月，武昌县政府正式成立，辖7个区。
第二区驻青山镇，辖45个保、491个甲。
1950年2月，武昌县第二区改称第九区，由于所辖沙窑保（亦称沙口）地处长江北岸不便管理，被湖北省人民政府划入黄陂县。
4月，废除旧政权实行的保甲制度，建立34个行政村级政权组织。
7月，重建乡（镇）级政权组织，将34个行政村改组为24个乡人民政府、1个镇人民政府。
1951年6月，在中南局民政部主持下，湖北省、武汉市会同武昌县将武汉市扩大市区范围界定。
7月，为适应经济建设发展的需要，中南军政委员会报经中央政务院批准：同意武汉市扩展市界。
12月4日，湖北省大冶专署武昌县第九区全部划入武汉市，并正式建立武汉市青山区人民政府，隶属武汉市人民政府郊区办事处。
青山区政府驻青山镇，辖24个乡、1个镇。
区境范围：由武丰乡至胡墩乡，东西长30千米。
由青山镇至陈家井乡，南北宽15千米，总面积246平方千米。
1952年6月16日，湖北省、武汉市政府联合发出通知：奉中央及中南局指示，武汉市除酌留风景区外，暂不扩大。
青山区原有彭家岭乡、武丰乡、龙王乡、铁铺岭乡等4个乡留作武汉市郊辖，其余21个乡镇仍划归武昌县辖。
武汉市青山区撤销。
1955年2月，湖北省人民委员会决定：“根据武汉钢铁公司建设及城区副食品生产基地需要，对武汉市区划进行调整”。
将原武昌县第九区的21个乡镇再次划入武汉市。
2月15日，武汉市青山区人民政府正式建立，驻青山镇。
辖24个乡、1个镇。
1955年4月，武汉市调整郊区区划，组建4个郊区。
即：洪山区、青山区、汉桥区、南湖区，并将洪山区的3个乡（同意乡、沿江乡、白浒乡）划入青山区。
时青山区北接市界，西由紫荆山顺沙湖边到张家兵房、水果湖边，沿东湖、小汤林湖边到胡双堂、熊家嘴、毛家嘴，沿吴家大桥到东港止，全区有27个乡和1个镇，水陆总面积264平方千米。
1955年，新中国成立后兴建的第一个特大型钢铁联合企业一一武汉钢铁（集团）公司在位于青山区的中东部破土动工，占地25平方千米。
由中国一冶集团有限公司承建。
1956年6月，武汉市调整郊区区、乡行政区划，将洪山区的花山、春和、联合、中合、大吴、刘黄、山湖等7个乡划归青山区。
1957年6月，武汉市将青山区所辖天兴、建设、黎明、红旗、联合、和平、白浒、游家庙、驼子店等9个乡全部划归洪山区管辖。
1963年4月，武汉市将武昌区的白浒公社、沿江渔业公社和洪山区的联合公社划入青山区。
将洪山区和平公社的白鹤嘴、长山嘴、白杨桥等3个生产队划入青山区联合公社，将其陈家嘴、八大家、油坊岭、落王庙、大洲等5个生产队划入青山区环城公社。
至此，青山区下辖9个农村人民公社，即：黎明、建设、红旗、环城、火官、天兴、白浒、沿江、联合。
1964年8月，武汉市调整农业管理体制，将青山区所辖的9个农村人民公社全部划归洪山区，境域面积缩小4/5。
2009年5月，武汉市调整武昌、青山、洪山三区插花地带，将洪山区建设乡与和平街的13个村和2个社区的全部区域，及4个行政村的部分区域划归青山区管理，将青山区厂前街的自建社区全部划归洪山区管理。
此次调整使青山区土地面积增加23.85平方千米。
2009年青山区内的武汉钢铁（集团）公司一举跻身世界500强，列中国500强企业第56名、武汉市100强企业第2名。
沿用至今。