榉溪孔氏家庙位于榉溪村中部，始建于南宋宝祐二年(1254)，榉溪村位于大盘山北麓，古称桂川、榉川，四周群山环绕，山川秀丽，环境幽奇。全村现共有360户，计1130人，全部姓孔，为江南孔子后裔最大的聚居地。

榉溪孔氏始祖孔端躬原籍山东曲阜阙里，系孔子四十八代孙，自幼聪颖好学，登进士第，宣和三年(1121)授承事朗，任大理寺评事，持事洁白，谳狱恕平，吏畏其威，人怀其惠。

现存孔氏家庙坐南朝北，是明末清初时期的建筑，门口匾额上“孔氏家庙”四个字依稀可辩。孔氏家庙最早建于南宋宝祐年间，也就是1253年到1258年之间。当时宋理宗给予“婺州南孔”五级恩典，其中一级恩典就是，在榉溪南岸杏檀园赐造至圣家庙。孔氏家庙从南宋宝祐年间赐建以来，元、明时期多次由政府拨款修建，家庙宏伟气派。清初，榉溪一带发生农民起义，朝廷派兵镇压，烧杀无度，造成“十年不闻鸡犬之声”，家庙毁于兵乱战火。后来，家庙由孔氏族人集资重建，虽然没有当年皇帝敕造的宏伟，但至今保存较为完整。孔氏家庙古朴宏伟，堂构考究，整座建筑由门楼、戏台、前堂、穿堂、后堂组成，左右对称，布局严谨气势恢宏，朴实森严。通面阔21.50米，通进深30.30米，面积880平方米，屋柱多达84根，门楼采用三柱穿斗结构，戏台为轩阁式结构。前厅、后堂是五开间，抬梁式和穿斗式相结合。这里的小天井地面全部用均匀的鹅卵石铺设，还放置了旗杆石。家庙里的柱石有宋、元、明、清四朝的式样，这小小柱石记录了沧桑变更的历史。家庙的后堂中间悬挂着“如在”两字的匾额，其意就“孔子的精神永远流传”。两边是一幅对联，读来意味深长：“脉有真传尼山发祥燕山毓秀，支无异派泗水源深桂水长流”。早先，家庙里还有“万世师表”的金匾一块，但是也在文革时期毁了。现在珍藏的文物还有《孔氏家谱》、至圣先师牌位、吴道子画的孔子刻像拓本等。