有着如此规模如此美丽的古建筑群和当地久远且丰厚的人文历史有关，据资料，高迁村曾涌现出北宋龙图阁直学士吴芾、南宋左丞相吴坚、明代左都御史吴时来等杰出人才，至十七世浙东副元帅、怀远将军兼仙居县尹熟公也曾在这居住过。