Первое строение на этом участке появилось в 1706 году. Здесь на берегу Невы был построен Почтовый двор: "Почмейстер делил этот дом с выписанным из Данцига трактирщиком, у которого можно было жить и у которого часто также устраивались большие вечеринки" [Цит. по: 1, с. 36].
8 мая 1714 года ганноверских посланник Вебер докладывал: "Его Царское Величество теперь признал, что нужно заложить постоялый двор и гостиницу, которых до сих пор не было и очень неудобно для приезжающих" [Цит. по: 1, с. 89]. С июня 1714 по осень 1716 года здесь по проекту Доменико Трезини был построен новый Почтовый двор ("Почт-гаус") с пристанью для двух "почтовых фрегатов", совершавших регулярные рейсы между Петербургом, Данцигом и Любеком.
Новая постройка представляла из себя двухэтажное мазанковое здание с большим внутренним двором, где оставлялись лошади и подводы. На первом этаже работал ресторан, втором располагался зал, где Пётр I устраивал ассамблеи и другие торжественные мероприятия. Там же работала гостиница, постояльцы которой при любой погоде выселялись при прибытии сюда царя. Кроме охраны и служителей здесь работали почтмейстер, секретарь, переводчик и три почтальона.
Для организации почтовой службы в Петербург пригласили почтмейстера Генриха Краусса. В 1716 году он был уволен из-за взяточничества, на место Краусса назначили Фридриха Аша. Этот человек исполнял роль не только начальника почты, но и цензора, администратора гостиницы.
По указу Петра I на окружавшую Почтовый двор галерею ежедневно в 12 часов выходили 12 музыкантов, которые своей громкой игрой на духовых инструментах оповещали петербуржцев о наступлении полудня. Почтовый двор был одним из мест, где проводились знаменитые петровские ассамблеи. Пётр I и Екатерина I приходили сюда пешком из Летнего сада.
Набережную у Почтового двора назвали Почтовой, сейчас это Дворцовая набережная.
Мазанковая постройка быстро обветшала. В сентябре 1720 года кабинет-секретарь Петра I А. В. Макаров писал У. А. Сенявину:
С января 1726 года при Почтовом дворе открылась Академическая школа, которая была организована по проекту французского художника Луи Каравака. Впервые в России здесь началось обучение рисованию с живой модели, как это было обычно для европейских школ. Одна из комнат служила натурным классом, где голым позировал крестьянин вотчины синодального правления Осташковской слободы Фома Андреевич Быков [1, с. 145].
7 августа 1731 года Трезини получил указание от генерал-фельдмаршала Миниха старый Почтовый двор снести, а на его месте построить кордегардию и конюшни лейб-гвардии Конного полка. Через две недели после этого архитектор уже запрашивал кирпич для стройки. Почтовый двор был переведён к Исаакиевской церкви. Здесь же к 1732 году построили Манеж. Пожар 1737 года уничтожил эту постройку. Освободившееся место расчистили, назвали Верхней Набережной площадью. Она примыкала к Царицыну лугу.
В 1768–1785 годах архитектором Антонио Ринальди здесь был построен дворец, названный Мраморным.
