На месте дома №32 по Миллионной улице первоначально было два участка (№32 и 34). В 1723 году здесь построили одноэтажный каменный дом придворного лекаря Ивана Лаврентьевича Блюментроста. Между ним и Зимней канавкой расположились мазанковые строения французского посланника де Лави и деревянный дом ка каменных погребах капитан-командора Вильбоа. В 1736 году все эти строения приобрёл купец Иоганн Далмант (Дальман). Для него здесь был построен новый каменный дом с главным фасадом со стороны Миллионной улицы. На Зимнюю канавку выходил боковой флигель в семь окон, на реку Мойку - служебные постройки и ещё один жилой флигель. После смерти купца его вдова безуспешно занималась продажей имения. Не найдя покупателей, она обратилась за помощью к немецкой общине, которая помогла ей найти арендаторов среди приехавших в Петербург иностранных специалистов.
В 1790 году владельцем дома №32-34 по Миллионной улице стала надворная советница Мария Дуруп (фон Дероп), являющаяся одной из начальниц Военно-сиротского дома. При ней особняк сохранял фасад в стиле аннинского барокко.
Следующим владельцем участка в 1816 году стал действительный тайный советник, сенатор, князь Иван Алексеевич Гагарин. Он слыл страстным театралом, был влюблён в известную актрису Екатерину Семёнову. Князь решил построить здесь роскошный особняк и подарить его возлюбленной. Проект нового дома он доверил архитектору В. П. Стасову. Тот отчитывался перед Гагариным:
Особняк И. А. Гагарина включал в себя богатые дворцовые интерьеры, оборудованные модной мебелью, украшенные редкими гобеленами и дорогими картинами. Фасад же современники признавали строгим, сравнивая его с соседними казармами 1-го батальона лейб-гвардии Преображенского полка. В день бракосочетания с Екатериной Семёновой (1828 год) князь подарил ей этот дом. Сам Иван Алексеевич жил в другом месте (Большая Морская ул. 48) [2].
В книге "Большая Морская улица" утверждается, что Семёнова жила в правой части здания [2]. Историк Г. Зуев в книге "Течёт река Мойка" пишет, что после свадьбы семья переехала в Москву.
После смерти И. А. Гагарина его вдова продала участок за 125 000 рублей тайному советнику Ивану Дмитриевичу Черткову, также москвичу. В 1826 году он стал адъютантом великого князя Михаила Павловича, с 1833 года был шталмейстером Двора. 28 февраля 1835 года он присутствовал в качестве восприемника на крещении Марии Бланк, будущей матери В. И. Ленина. В детстве Маша Бланк часто гостила у Чертковых и играла с их детьми. Спустя 60 лет в этом доме был и сам Владимир Ильич Ленин. С 1895 по 1900 годы здесь размещалось германское консульство, где он получал визу для своей первой эмиграции.
При И. Д. Черткове в 1849 году корпус дома со стороны Миллионной улицы имел три этажа, а со стороны Мойки четыре. После смерти Черткова участком владела его дочь Елена Ивановна, чьим первым мужем был граф М. В. Орлов-Денисов. В 1850 году он убедил супругу продать имение. После кончины Орлова-Денисова Елена Ивановна вновь вышла замуж за графа Петра Андреевича Шувалова, который в 1881 году получил имение тестя в свои руки. Сюда он переехал после неудачи на дипломатическом поприще. На его карьере поставили крест итоги Берлинского конгресса 1878 года, на котором Шувалов в качестве русского посла в Англии крайне неудачно отстаивал интересы России [3].
Историк В. С. Измозик в книге "Пешком по Миллионной" называет владельцем дома №32-34 не Петра, а Павла Андреевича Шувалова, младшего брата Петра [1, с. 166].
Для П. А. Шувалова старые постройки были реконструированы архитектором М. А. Ивановым. По мнению Г. Зуева фасады и особняка на Миллионной улице, и флигеля на набережной Мойки приобрели тогда черты поздней эклектики [3, с. 373]. С этим можно поспорить, так как дом на Миллионной убедительно сохраняет классический почерк архитектора Стасова.
В середине 1890-х годов участок приобрёл крупный промышленник и общественный деятель Виктор Фёдорович Голубев. Он был основателем Общества Брянских заводов, Александровского южно-российского металлургического завода. В Петербурге он проживал с начала 1880-х годов, в столице ему принадлежало сразу несколько домов. Умер Голубев в 1903 году в Риме, где находился на лечении. Его состояние, оцененное в 4,5 миллиона рублей, было поделено между двумя сыновьями.
Перед 1917 годом дома №32 и 34 принадлежали генерал-майору свиты Николая II графу Николаю Павловичу Ферзену. Именно для него со стороны Мойки в 1910-х годах был построен новый шестиэтажный доходный дом. После революции, в феврале 1918 года, в доме на Миллионной улице разместилось Лекторское бюро Петроградского областного комитета Всероссийского союза городов. Его члены не только передавали свои знания на лекциях, но и снабжались продуктами в сложное революционное время. Среди лекторов бюро числились краевед Н. П. Анциферов, историки Н. А. Рожков и Б. А. Романов, языковеды О. М. Брик и Л. В. Щерба.
8 июня 2002 года на фасаде дома №31 по набережной реки Мойки была укреплена доска в честь первого мэра Санкт-Петербурга Анатолия Александровича Собчака. В прессе тогда широко обсуждались перепетии расширения квартиры Собчака, располагавшейся в этом здании. Для нужд мэра расселялась соседняя квартира №17, не все жители которой легко соглашались на переселение. Для них находили жильё в обменном фонде Петербурга, часть квартир приобретали за деньги, которые позже следствие посчитало государственными. В итоге квартира А. А. Собчака расширилась до 300 метров, не считая приватизированной супругой мэра мансардного этажа этого же дома.
