柘山村位处于南安乡东南，百丈峰以南，与峡江县城隔山对望，四面环水，郁郁葱葱。也正因为于山水的魅力，在此居所的胡村民从祖上迁来，于明朝成化年间定居。后来蔡李步在此居住后，人才辈出，群英荟萃。尤其是近百年来，胡的后代更加兴旺繁荣，连成了深厚的文化积淀，尤其是在建筑方面。