民国四年（1915年），属西区辖地。
民国三十年（1941年），属龙泉乡。
1950年，属三区之龙泉和天山乡。
1956年，属张家寨区南盆、胡家湾乡。
1958年公社时代，取名黄祖山大队，属张家寨公社管辖。
1961年，撤销以区为公社的建制，将管理区改为公社。
1963年，黄祖山大队属张家寨区管辖。
1972年，公社区划调整，张家寨区撤销良田坝公社并入香家湾、竹园两个公社，黄祖山大队属竹园公社管辖。
1984年社改乡，建立竹园乡、胡家湾乡、南盆乡，黄祖山村属张家寨区的竹园乡管辖。
1992年2月，贵州省人民政府批准思南县进行“建镇并乡撤区”工作，同年10月，撤销竹园乡、胡家湾苗族土家族乡、南盆土家族苗族乡合并建立胡家湾苗族土家族乡，辖原三个乡镇的共15个行政村，黄祖山村属胡家湾苗族土家族乡管辖。
2007年4月，县人民政府下达《关于撤小村并大村整合的批复》，全县开展撤小村并大村工作，把全县561个村合并成168个村，胡家湾苗族土家族乡将原15个村合并为4个村，其中，竹园村由光明村、黄祖山村、江峰村、白岩塘村合并而成。
2010年11月16日，胡家湾苗族土家族乡调整设置为14个行政村，1个社区，黄祖山村更名为皇主山，属胡家湾苗族土家族乡管辖。