1949年为潘家村，下辖八个组，属姜棚乡。
1955年为加庙十一大队，属加庙乡。
1958年成立高潮人民公社。
1960年更名为药山十一大队，属药山管理区。
1963年为高庙十一大队，属高庙公社。
1966年10月为安居镇八大队，属高庙公社。
1978年安居镇八大队改为安南山茶场总支部，属茶场党总支。
1985年安南山茶场总支部下辖一场更名为安南山茶场，二场更名为板凳岗大队，三、四场合并更名为七棵树大队，属安南街。
1988年安南山茶场不变，板凳岗大队、七棵树大队更名为板凳岗村、七棵树村，属安居镇。
2002年安南山茶场、板凳岗村、七棵树村合并为安南山村至今。