В указе Петра I 1721 года владельцем этого участка на Дворцовой набережной называется Пётр Мошков. По его фамилии назван отходящий здесь от берега Невы Мошков переулок. Т. А. Соловьёва в книге "Дворцовая набережная" сообщает, что первое здание на участке было построено примерно в начале 1730-х годов для вице-адмирала Захара Даниловича Мишукова. Вероятно, при Мошкове территория пустовала. Но этому противоречит рисунок Марселиуса 1729 года, где местность показана застроенной двухэтажным жилым зданием типового проекта.
Мишуков скончался в 1762 году. Перед смертью он успел продать имение купцу Петру Терентьевичу Резвому. Позже домом владел его сын Дмитрий, который в 1801 году продал участок генерал-адъютанту графу Христофору Андреевичу Ливену. Здесь он проживал со своей супругой Дарьей Христофоровной, урождённой Бенкендорф. Здание на Дворцовой набережной они приобрели вскоре после свадьбы. Через семь лет Ливен был зачислен на службу в Министерство иностранных дел и спустя ещё два года уехал с дипломатической миссией в Берлин. С ним уехала и супруга.
В 1810 году у отправившихся в Европу супругов Ливен дом №20 купил Александр Иванович Соллогуб. Здесь он поселился со своей женой Софьей, которая приходилась племянницей Н. П. Архарову, владевшему в конце XVIII века домом №24. В доме на Дворцовой набережной прошло детство писателя Владимира Александровича Соллогуба. Сохранились его воспоминания об особняке. Нижний этаж занимал отец, а верхний был за матерью, где была ещё и приёмная.
Зимой семья Соллогуб жила в Петербурге, а летом снимала дачу в Павловске. В их особняке бывал император Александр I, ценивший беседы с Софьей Ивановной. Здесь же Соллогубы пережили наводнение 1824 года, которое подробно описал Владимир Александрович. В 1830-х годах Соллогубы снимали квартиру в доме №50 по Большой Морской улице.
В конце 1820-х годов участок перешёл дальнему родственнику Соллогубов Кириллу Александровичу Нарышкину. Художником Карлом Брюлловым Нарышкин запечатлён на известной картине с женой Марией Яковлевной как раз в тот период, когда они жили на Дворцовой набережной. Для Нарышкиных дом №20 перестраивал архитектор А. К. Буржуа.
С 1845 году особняком владела дочь генерала А. Г. Орлова-Чесменского Анна. Для неё здание переделывал архитектор Тибень.
В 1849 году зодчий Г. Э. Боссе обновлял интерьеры, устроил в доме водопровод. В 1856 году вдова титулярного советника Мария Ивановна Алексеева приглашала сюда архитектора Х. И. Грейфана, который внёс свой вклад в переустройство дома и построек во дворе. В 1863 году очередные переделки осуществлялись А. Э. Юргенсом.
После М. И. Алексеевой участком владели Сергей Алексеевич и Мария Александровна Долгоруковы, проживающие здесь с детьми. Их старшей дочерью Александрой некоторое время увлекался Александр II.
В 1895 году дом №20 числился за Александрой Николаевной Нарышкиной. Она была тётушкой будущего советского наркома иностранных дел Г. В. Чичерина. Её муж, Эммануил Дмитриевич, был внебрачным сыном Александра I и М. А. Нарышкиной. Александра Николаевна владела домом до 1917 года. В советское время здесь были устроены коммунальные квартиры.
