Участок дома №25 по Миллионной улице с 1717 года принадлежал генерал-адмиралу графу Николаю Фёдоровичу Головину. На месте особняка Головина несколько позже появилось новое трёхэтажное здание, которое возможно спроектировал архитектор П. Е. Еропкин [2].
В 1720-х годах домом №24 по Дворцовой набережной владел князь Василий Владимирович Долгоруков. К этому времени на участке уже был построен двухэтажный дом по типовому проекту [1].
В середине 1770-х годов участок стал принадлежать Николаю Петровичу Архарову - одному из самых известных петербургских сыщиков того времени. Дом был пожалован ему Екатериной II вместе с орденами и чином генерала. В 1797 году он был уволен с государственной службы и выслан в тамбовское имение. Тогда же Николай Петрович продал петербургский особняк банкиру А. Ливио, который в том же году перепродал его обер-гардеробмейстеру графу Ивану Павловичу Кутайсову.
После убийства Павла I Кутайсов был уволен со службы, он выехал за границу. После кончины графа в 1834 году участок принадлежал его вдове А. П. Кутайсовой, которая указана владелицей территории в том числе в атласе Н. Цылова 1849 года. Старший сын Кутайсовых Павел был председателем Общества поощрения художеств. Возможно по этому с начала XIX века здесь жили художники. В 1809 году одним из жильцов дома был живописец Тимофей Алексеевич Васильев. Позже здесь находилась мастерская художника Г. Г. Чернецова. С Кутайсовыми был близко знаком А. С. Пушкин. В 1832 году он позировал Чернецову для картины "Парад на Марсовом поле".
В 1843 году здесь "в голубом салоне с окнами на Неву" жила польская графиня Эвелина Ганская, возлюбленная Бальзака, который с 1841 года стал добиваться с ней брачного союза. Писатель так описал встречу с графиней:
После 1849 года участок принадлежал графине Марии Ивановне Васильевой, жене бывшего генерал-майора и действительного статского советника В. Ф. Васильева. Следующим владельцем территории был полковник В. И. Трофимов, для которого в 1859-1860 годах архитектор Г. М. Барч переоблицовывал главный фасад здания. В 1868 году участком владела вдова коллежского регистратора Александра Михайловна Каратыгина. Её муж Василий Андреевич, кроме всего прочего, был известным трагиком.
К 1900 году участком владел генерал-лейтенант Сергей Николаевич Плаутин. Кроме этого участка генерал имел в Петербурге ещё два. Для Плаутина гражданский инженер А. А. Смирнов надстроил здание со стороны Дворцовой набережной тремя этажами, переоблицевал главный фасад, переделал многие интерьеры. Так этот дом стал пятиэтажным и более высоким, чем даже Зимний дворец. В 1908 году архитектор Н. В. Трусов обновил инженерные коммуникации и построил служебные корпуса во дворе.
В 1913 году корпус со стороны Миллионной улицы был перестроен по проекту И. А. Претро. Здесь жил сын С. Н. Плаутина Михаил, служивший в канцелярии Совета министров.
