祠山岗茶场成立于1954年10月，前身为安微省国营宣郎广农场祠山岗作业区(1965年改称祠山岗管理区)。
1969年12月撤销安徽省国营宣郎广农场祠山岗管理区，同时成立安徽生产建设兵团第四师第十八团。
1975年9月撤销安徽生产建设兵团第四师第十八团，同年成立了安徽省国营祠山岗农场，隶属于安徽省革命委员会农垦局(1980年改称安徽省农垦厅)领导。
1980年9月改名为安徽省国营祠山岗茶场。
不论是开始的作业区、管理区，还是延续至今的农场、茶场，均为一个整体，并以桐山岗冠名。
2018年11月根据《中华人民共和国城市居民委员会组织法》及《广德县推进省农垦驻广国有农场办社会职能移交工作实施方案》（政办〔2018〕95号）有关规定成立祠山岗茶场社区居民委员会。