1949年前属陶家乡第六保，1949年属第四区（石镇）丰溪乡，1958年成立虎山大队，属金星（后改大黄）人民公社，1961年成立袁家大队，1968年并入虎山大队，1972年重设袁家大队，属大黄乡人民公社。
1984年7月公社改乡、镇制，虎山大队、袁家大队改为虎山村委会、袁家村委会，属大黄乡。
1988年虎山、袁家村委会改为村公所。
1994年撤销村公所名称，虎山、袁家恢复虎山村民委员会，属大黄乡。
2005年11月袁家村委会并入虎山村民委员会，属大黄乡。
2005年12月大黄乡撤销并入石镇镇，沿用至今。