1941年前，属临沂县。
1941年后，归沭水县。
1945年，沭水县撤销后，划归临沭县，时称玉山区。
1951年4月，称临沭县第七区。
1956年3月，划归莒南县，时称玉山区。
1961年8月，复归临沭县，时称朱仓人民公社。
1962年12月，朱仓公社改为玉山区。
1969年7月，改为玉山区人民公社。
1970年7月，公社改为区。
1971年12月，区改公社。
1977年7月，玉山人民公社划分为玉山人民公社、朱仓人民公社，西部析出为朱仓人民公社，部分分属蛟龙人民公社。
1984年5月后，分属唐岭乡、朱仓乡、东盘乡。
1998年8月，唐岭乡撤乡改建为玉山镇。
2001年1月，朱仓乡与东盘乡合并为朱仓乡。
2011年8月，撤朱仓乡并入玉山镇。