西汉属郁秩县;东汉属胶东侯国;三国魏属胶东县;北魏皇兴四年(470)属长广县;隋仁寿元年(601)属胶水县;明洪武二十二年(1389)属平度州;清属长乐乡;1912年后属平度县长乐乡(后属第四区);1940年9月属平度县抗日民主政府第四分区;1941年9月属平北县天柱区;1950年5月属平度县天柱区(后属第六区);1958年2月撤区并乡,属大泽山、天柱乡;1958年9月属大泽山人民公社;1984年由社改乡,1985年11月由乡改镇;1994年12月将青杨乡北部10个村划入大泽山镇;2012年12月12日,撤销大泽山镇、长乐镇,以原大泽山镇、长乐镇行政区域设立新的大泽山镇,镇政府驻原大泽山镇政府驻地。
大泽山葡萄集中产于平度市北部大泽山西麓一带,方圆约30里,是全省最大的葡萄产区。大泽山镇被国家定为“葡萄之乡”。大泽山葡萄有100多个品种,主要有玫瑰香