Ở cuối đường Cổ Ngư, trên bán đảo phía Đông Hồ Tây (Yên Phụ, Tây Hồ), có một ngôi chùa lịch sử lâu đời – chùa Trấn Quốc. Được xây dựng từ thời vua Lý Nam Đế (544 – 548), ban đầu chùa mang tên là Khai Quốc và nằm bên sông Hồng tại Yên Hoa (nay là Yên Phụ). Chùa đã trải qua nhiều thăng trầm lịch sử và từng được dời sang đảo Kim Ngư (còn gọi là đảo Cá Vàng) do sự sụt lở bờ sông vào năm 1615.