小山坡上曾有寺庙建筑群，为明神宗之母慈圣皇太后于万历四年（1576年）所建。李太后平生好佛，在她主政期间（万历皇帝登基时年仅十岁，内外政事均由李太后执掌），在京城内外兴建或修缮了许多佛寺，公园旁的慈寿寺即为其中之一。
时光流淌，昆玉河依旧，寺院早已不再，河边这座经历四百多年的孤塔矗立，迎送着春来秋去又一冬。那些后来建公园所种植的银杏树，在塔下将最后的灿烂在此季盛放，塔下修建的一个长方形水池，融入一池金色倒映下巍巍塔身，附近的居民们在塔下锻炼、在林间散步，孩童们在银杏林中嬉戏打闹。
