渚口位于祁西，距县城30公里。因其溪水潆洄，环映如锦；背靠成峰，障蔽如城，故别号锦城。唐乾符年间，祁门倪氏始祖康民与郑传集众抗黄巢，加封检校兵部尚书，其五世孙三六、社五约于宋中期由伊川迁居渚口。
渚口为倪姓聚居地，后发展为倪、吴、胡三姓融合共居，是徽州人聚族而居又融合发展的典型村落，现有284户1005人。“渚”为万山丛中一小洲，村落一面靠山，三面环水，村人称铜锣形、腰带水。村前平畴轩敞，古树参天；村内粉墙黛瓦，街巷宛若迷宫。
渚口村自古文风昌盛，历代名人辈出，旧时书塾众多，古有举人5人，文武科进士5人，七品以上-16人。明代倪思辉，累官至南京户部尚书，明史有传。清代倪望重，历任浙江诸县知县，以府官致仕，其藏书楼“万卷楼”闻名遐迩。胡士著，清康熙进士，官至翰林院詹事，他与江南诸多名士之往来，拓展了徽州的人文空间。吴书升独穷经史，开祁门一邑文风。明清两代，村人远游淮泗，经商者无数。倪本高，明万历业盐两淮，起业巨万；清末民初粮商倪尚荣，因修县积谷仓而受民国总统黎元洪“泽被乡闾”的匾额嘉奖。
村内“贞一堂”、“一府六县”两处古建筑，极为独特，堪称经典。贞一堂为倪氏宗祠，始建于明初，曾两度遭火灾重建，现存为民国建制。被誉为“徽州民国第一祠”。祠堂座北朝南，前、中、后三进，内置五开间，前后天井，面积1200余平方米。整座祠堂由108根大柱支撑，空间开阔宏大。门前广场两侧18对巨大的旗杆石鼓，规模壮观，是倪氏宗族为子孙考取功名者而立旗杆所留。贞一堂因其历史悠久，体量宏大，用材精良，雕刻精美，规模完备，保存较好，具有较高的艺术价值和历史价值。1998年5月公布为省级重点文物保护单位。
“一府六县”即倪望重宅，村人称“新屋里”，建于光绪十年（1884）前后，占地1600平方米。整个建筑包括1个府厅，6个县厅，恰合古徽州一府六县建制，同时暗合宅主6任浙江5县知县的特殊经历。
倪宅建筑，府厅庄严肃穆，气势宏伟；县厅小巧玲珑，起居方便；花厅幽静典雅，格调别致。与府厅相连的为东花厅，是宅主倪望重的藏书楼，号“万卷楼”，其藏书1950年移送国家文物部门。2004年11月公布为第五批省级重点文物保护单位。
村中民间文化遗存丰厚，器乐演奏《十番锣鼓》堪称乡村“迎宾曲”；民间舞蹈《扑蝶舞》被誉为祁门旋律；《姐妹看灯》曾进京中南海为中央-演出。