Первый каменный дом на этом участке Английской набережной был построен в 1740-х годах для князя Михаила Васильевича Голицына. При правлении Анны Иоанновны князь М. В. Голицын специальным указом был вызван из Москвы в Санкт-Петербург для строительства здесь своего особняка. Дом был построен согласно общему плану застройки набережной, разработанному Комиссией о Санкт-Петербургском строении. Двухэтажное типовое здание мало выделялось среди всех окружающих его построек.
После смерти князя в 1749 году особняком владел его сын Александр, который в свою очередь детей не имел. Александр Михайлович Голицын скончался в 1774 году. Затем участком владели английские купцы Бель, Вар. Вообще, аренда особняков англичанами в этом районе не была редкостью. Поэтому набережная и стала называться Английской.
В 1802 году дом приобрёл граф Николай Петрович Румянцев, сын Петра Александровича Румянцева-Задунайского и Екатерины Михайловны Голицыной. Памятный обелиск "Румянцева победам", посвящённый отцу Николая Петровича, установлен в сквере на противоположном берегу Невы.
В 1808 году граф стал министром иностранных дел, одновременно оставаясь в должности министра коммерции. За заключение им Фридрихсгамского договора, по которому Российской Империи отошла Финляндия, он получил звание государственного канцлера. По этому поводу в доме Румянцева был устроен приём, описанным графом Жозефом де Меестром:
После ухода в отставку в 1814 году граф Румянцев целиком и полностью посвятил себя организациям научных исследований в области русской истории. В его доме хранились богатые коллекции письменных памятников, монет, медалей, предметов декоративно-прикладного искусства. Здесь была библиотека из 28 500 книг, куда входили труды русских учёных XVIII - начала XIX века, издания русских летописей, работы русских путешественников. Более 13 000 книг было на иностранных языках.
Хозяин особняка жил в парадных помещениях второго этажа. Здесь находились три больших зала с наборным паркетом, золотой лепниной на стенах и изразцовыми печами. Весь третий этаж был отдан под хранение коллекций.
Понимая ценность своей коллекции, Румянцев задумал отдать её в пользу государства вместе с особняком. Дом на набережной отдавался под музей. Жилые корпуса со стороны Галерной улицы должны были стать доходными домами, прибыль с которых шла бы на нужны музея.
В 1824 году для перестройки особняка под музей Румянцев пригласил молодого архитектора Василия Алексеевича Глинку. Зодчий сохранил пропорции и объём здания, но полностью изменил облик фасада. Особняк Румянцева был украшен двенадцатиколонным портиком. В тимпане помещён барельеф работы скульптора И. П. Мартоса "Аполлон-Мусагет на Парнасе в окружении девяти муз и матери их Мнемозины". Размещённые рядом атрибуты наук и искусств символизировали увлечения хозяина дома. За этот архитектурный проект Глинка был удостоен звания академика.
В 1826 году скончался Н. П. Румянцев. Его младшему брату Сергею Петровичу было поручено продолжить создание первого в России частного публичного музея. На фронтоне здания в 1831 году разместили надпись: "От государственного канцлера Румянцева на благое просвещение". Были перестроены внутренние помещения, приобретена специальная музейная мебель. В одном из залов была размещена галерея с портретами родственников Румянцева. В 1828 году С. П. Румянцев заказал портрет своего старшего брата английскому художнику Д. Доу, который в до время работал над портретами для Военной галереи 1812 года Зимнего дворца. Портрет Н. П. Румянцева стал последней работой Доу в Санкт-Петербурге.
Открытие музея состоялось 28 мая 1831 года. Он был открыт для бесплатного посещения всеми желающими, без сословных ограничений. Здесь проводились публичные чтения, лекции, концерты. В 1830-1855 годах в особняке Румянцева размещалось Общество поощрения художеств.
Музей работал благодаря финансированию С. П. Румянцевым. После его смерти в 1838 году состояние здания и коллекций стало ухудшаться. В 1845 году музей был передан в управление Императорской Публичной библиотеке, однако в целом ситуация не улучшилась. Прибыль доходных домов отдавалась не музею, а на нужды Публичной библиотеки. Вместе с тем, особняк Румянцева стал требовать капитального ремонта.
Стали возникать предложения перевести музей Румянцева в Москву. Это аргументировалось тем, что в Санкт-Петербурге уже работало достаточно много просветительских учреждений (Публичная библиотека, Эрмитаж, Кунсткамера), а в Москве из таковых находился лишь Университет.
Переезд музея вызвал большой общественный резонанс. Негативной реакции общественности не помешало и решение не предавать дело о переезде огласке. Учёные Петербурга во главе с В. В. Стасовым написали письмо-протест со словами:
Несмотря на возражения петербуржцев, музей в 1861 году переехал. С тех пор коллекции располагаются в доме Пашкова на Неглинке.
В 1863 году особняк приобрёл журналист и писатель Адальберт-Войтех Викентьевич Старчевский. Для переустройства общественного здания в жилое им был приглашён архитектор Антон Иоганнович Цим. Однако средств на соответствующие работы не хватило и здание было продано.
Далее особняк Румянцева менял своих владельцев, в 1882 году его приобрела жена герцога Лейхтенбергского Зинаида Дмитриевна Богарне. После продажи Мариинского дворца в 1884 году герцог Лейхтенбергский и Зинаида Богарне поселились в доме на Английской набережной. Здесь же поселилась дочь герцога от первого брака Дарья. В 1893 года она вышла замуж за князя Льва Михайловича Кочубея. Детство их детей Натальи и Евгения прошло в этом особняке, принадлежавшем им до 1916 года.
Для семьи Богарне особняк переустраивал архитектор Александр Александрович Степанов. Здание требовало срочного ремонта из-за деформации цокольного этажа. В результате нижняя часть дома была значительно усилена, здесь появился крытый каменный подъезд. Две боковые двери были превращены в окна, а центральная дверь расширена. Для установки мраморной лестницы Степанов создал стене здания полукруглую форму, выдвинутую во двор. Парадные помещения были оформлены в стиле историзма: Дубовый кабинет, Белый (Танцевальный) зал, Концертный зал.
В самом начале XX века особняк Румянцева перешёл к зятю герцога Лейхтенбергского - князю Льву Михайловичу Кочубею. От него дом перешёл сыну князя Евгению Львовичу.
В 1916 году особняк Румянцева был приобретён "Обществом товарных складов, страхования и транспортирования товаров". Был создан проект перестройки здания, который не был реализован из-за революционных событий. После 1917 года помещения особняка занимали офисы и коммунальные квартиры.
В 1938 году особняк Румянцева был передан Музею истории и развития Ленинграда, размещавшемуся тогда в Аничковом дворце. Для него здание было в значительной степени реконструировано. Музей в этом особняке был открыт только после Великой Отечественной войны в 1955 году. В 1953 году он стал называться Государственным музеем истории Ленинграда. Отделение этого музея работает здесь и сейчас.
В 2003 году проводилась реставрация парадных залов особняка. Им был возвращён облик, который они имели в 1880-х годах.
