Первым владельцем участка дома №20 по Большой Морской улице был вице-президент Коллегии иностранных дел барон Пётр Павлович Шафиров. Его первый петербургский дом стоял на Берёзовом (Петербургском) острове рядом с домиком Петра I. Участок в Морской слободе П. П. Шафиров получил в начале 1720-х годов.
В 1723 году за злоупотребления барон был лишён всех чинов и наград. Его приговорили к смертной казни, которую заменили ссылкой. Дом на Берёзовом острове конфисковали, а участок в Морской слободе остался за семьёй Шафирова. Спустя два года Екатерина I амнистировала барона и назначила его президентом Коммерц-коллегии. Впоследствии Пётр Павлович написал дипломатический трактат "Рассуждение" о причинах войны со Швецией, который стал ценным историческим источником.
После пожаров 1736 года участок дома №20 остался за Шафировым. Он умер в 1739 году, после чего наследники решили продать имение. Дом Шафировых к этому времени был одним из самых нарядных на улице. Он был выше соседних (в два этажа), шириной в семь осей. Крыльцо было украшено четырьмя колоннами. Облик особняка сохраняется на одном из листов Стокгольмской коллекции.
У вдовы Шафирова Анны Даниловны дом в 1740 году приобрела жена полковника Анна Фёдоровна Юшкова. Спустя семь лет она продала его жене купца-аукциониста Крестьяна Николаевича Миллера. В 1748 году владелицей участка стала статс-дама, обер-гофмейстерина великой княжны Екатерины Алексеевны Мария Симоновна Чоглокова. Она купила его у Миллера за 3 000 рублей. Согласно купчей во дворе имелся сад, простирающийся вплоть до Мойки. Мария Симоновна приходилась племянницей Екатерине I и двоюродной сестрой императрице Елизавете Петровне. После свадьбы великого князя Петра Фёдоровича и Екатерины в 1744 году Чоглокова была приставлена к последней для наблюдения за её нравственностью.
В "Записках" Екатерины встречается упоминание дома Чоглоковой. Будущая императрица пишет в 1750 году, что она должна была идти в баню в дом Чоглоковой. Туда же должен был направиться и наследник престола, но Пётр Фёдорович наотрез отказался пользоваться баней, этот русский обычай он ненавидел.
В 1755 году овдовевшая М. С. Чоглокова вышла замуж за Александра Ивановича Глебова. В 1765 году генерал-кригскомиссар генерал-прокурор Глебов продал дом, доставшийся по разделу его пасынкам, генерал-аншефу Ивану Симоновичу Гендрикову, брату Чоглоковой.
Одним из следующих владельцев дома №20 на Большой Морской улице был граф Никита Иванович Панин, воспитатель великого князя Павла Петровича. С 1763 года он возглавлял Коллегию иностранных дел и был автором реформы государственного управления. Панин умер в 1783 году. К этому времени здание со стороны Большой Морской улицы заняло всю ширину участка. Ворот здесь не имелось, въезжали со стороны Мойки.
После Панина особняком владел сенатор Пётр Васильевич Завадовский. При нём в особняке было 56 покоев. С 1784 года он был председателем комиссии по сооружению Исаакиевского собора. При Павле I Завадовский получил титул графа. При Александре I служил министром просвещения. Завадовский способствовал созданию Медико-хирургической академии.
В конце XVIII века дом на Большой Морской стал трёхэтажным. Завадовский жил здесь со своей женой Верой Николаевной, которая была моложе его лет на 30. В доме графа прошла юность художника Василия Андреевича Тропинина, жившего вместе с крепостными Петра Васильевича.
П. В. Завадовский умер в 1812 году. В 1820-х годах дом №20 принадлежал купцу Козулину. Он сдавал здесь помещения в наём конторе дилижансов и заезжим гастролёрам. В 1825 году в доме Козулина впервые демонстрировалась модель Санкт-Петербурга (готовый макет только до Адмиралтейской части). Позже модель выставлялась в доме Кусовникова (Невский пр. 30), а затем в доме Косиковского (Невский пр. 15). В конце 1820-х годов манеж купца Козулина занимал зверинец Лемана, один из крупнейших в Европе.
С 1830-х годов до 1917 года участок принадлежал Министерству иностранных дел. В 1830-х годах здесь жил учёный-филолог Фёдор Павлович Аделунг, наставник великих князей Николая и Михаила Павловичей, позже служивший в Министерстве иностранных дел. В 1849 году в доме №20 жил член кружка петрашевцев Д. Д. Ашхарумов.
До 1910-х годов дом №20 был центром востоковедения. Здесь работало общество русских ориенталистов, объединяющее всех интересующихся изучением Ближнего и Дальнего Востока. Почётным председателем и покровительницей общества была великая княгиня Милица Николаевна.
