巫公祠位於雅集亭之右,舊時祀商相巫咸及其子巫賢。據邑志載,宋慶元間邑人在虞山之青龍崗掘土得一古碑,上書“商相巫咸冢”五個古字,縣令孫應時遂建其祠於言子祠之夾室。
明嘉靖八年(1529年),知縣胡鳳請於巡撫、都御史陳祥,提學章袞,始正式檄文建殿及饗堂各四楹於虞山致道觀西側,立石門,表曰:“商賢相巫公祠”,並置司春秋致祭。國子監祭酒、邑人陳寰撰記。明季,被練兵官佔為公署。
清順治十年(1653年),王夢鼎、邵燈等將祠改建於昭明太子讀書枱之左側,錢謙益撰記,旋廢。康熙二十五年(1686年),知縣楊振藻以賓湯門外東莊廢廟改祠,遷巫咸木主祀之,後亦廢。乾隆九年(1744年),儲糧道覺羅雅爾哈善重建於遊文書院旁,並撰記,同祀巫咸巫賢父子。陶貞一亦撰記。乾隆四十一年(1776年),移祀於遊文書院之西廳。咸豐十年(1860年)毀。光緒二十九年(1903年)復建於院後山麓。
建國後又毀,1985年市園林管理處斥資5.6萬元重建於今址,現闢為公園茶室。