民国后期，为鬱林县平山乡。
1949年12月，设小平山乡，属鬱林县。
1950年6月，撤乡改属第十区。
1953年，设第十五区，凤氍林县。
1955年9月，第十五区改为小平山区；次年3月，小平山区改属玉林县。
1957年12月撤区改乡，小平山区析为小平山、卖酒两乡。
同属玉林县；次年10月，设五一公社，属玉林县。
1959年4月，五一公社改名小平山公社。
1984年10月，小平山公社撤改为小平山乡，属玉林市。
1987年7月，小平山乡析置卖酒乡，同属玉林市。
1997年4月，小平山乡划归兴业县。
2002年5月，小平山乡改小平山镇，属兴业县。