Участок между Каменноостровским проспектом, улицей Академика Павлова и Малой Невкой занят Лопухинским садом.
С 1705 года на этой территории располагались укрепления русских войск, здесь шли их бои со шведами. В 1717 году земля была отдана под дачу князю М. П. Гагарину, через четыре года казнённому за взятки.
Далее эта земля долгое время оставалась нетронутой. По приказу Петра I здесь располагался Аптекарский огород, где посторонним людям поселяться запрещалось.
С 1798 года Каменный остров становится летней резиденцией царского двора. Его окрестности раздают под дачи петербургской знати. Участок от Малой Невки до современной улицы Чапыгина достался адмиралу Кушелеву-Безбородко, а в начале XIX века - князю П. В. Лопухину. Позднее улица, проходившая через дачу Лопухина стала также называться Лопухинской (ныне улица Академика Павлова).
Далее дача принадлежала председателю Государственного совета В. П. Кочубею, затем главе Санкт-Петербургской лесной биржи Василию Федуловичу Громову. Именно для Громова архитектор Г. И. Винтергальтер построил здесь двухэтажный загородный дачный дом. А. М. Горностаев возвёл несколько оранжерей. Перепланировкой парка и сада занимался Е. В. Одинцов, позже назначенный главным садовником Санкт-Петербурга. Здесь были устроены фонтаны, беседки, гроты, висячие мостики над прудами и протоками. Особенно интересен был "кавказский" мостик. Из трёх мостов ныне сохранилось два. У пруда была выложена каменная терраса с лестницей.
В 1849 году по проекту Левино ближе к проспекту была построена "Вилла Монплезир". На берегу пруда появился павильон для музыкантов.
После смерти Громова участок менял своих владельцев, но оставался в прежних границах. В 1926 году саду дали имя Ф. Э. Дзержинского, 8 сентября 1930 года ему здесь был установлен памятник. В бывшей даче открылся клуб с рестораном и лодочной станцией. С 1940 года в бывшей оранжерее открылся Дом пионеров и школьников Петроградского района, а дом Громова был занят телецентром. В 1949 году восточный участок был передан водно-моторной базе. В 1950-х годах гроты были разобраны из-за их ветхости.
В 1991 году сад снова стал называться Лопухинским. В 1993 году демонтировали памятник Ф. Э. Дзержинскому. В начале 1990-х годов по проекту Л. А. Хангу проводилась реставрация пейзажной планировки сада, ремонт террасы, гранитных спусков и ограды.