В 1716-1720 годах сюда, на участок между Мойкой, Невским проспектом и Большой Морской улицей, подальше от Адмиралтейства был перенесён Морской рынок. Это было сделано в целях пожарной безопасности, так как рядом с верфью торговать сеном и дровами посчитали опасным. Проект нового каменного здания разрабатывал Г. И. Маттарнови. Сначала оно стало известно как Мытный двор. В 1719 году после смерти Маттарнови здание достраивал Н. Ф. Гербель.
Здание Мытного двора было двухэтажным, с башенкой посередине со стороны Мойки. Поначалу здесь велась торговля только съестными припасами. Но постепенно лавки занимались купцами, торгующими и другими товарами, двор вскоре стали называть Гостиным. Это вызывало недовольство купцов торгующих в Гостином дворе на Петербургской стороне. Мытный двор отбирал у них клиентов. В 1721 году напротив Мытного двора были высажены клёны, огороженные для "сбережения" от скота. При Екатерине I площадь перед двором была вымощена камнем, здесь было выделено место для казней.
К концу царствования Петра I Мытный двор стал одним из главных торговых мест Петербурга. Пётр хотел даже разместить в нём городской магистрат и украсить башню высоким шпилем. Но сделать этого император не успел.
11 августа 1736 года здесь случился пожар. В результате этого, а также пожара 1737 года, выгорела практически вся Адмиралтейская часть. Вместе с частными домами сгорел и Мытный двор. Первый историк Петербурга Богданов так пишет об этом:
После пожара Комиссия о Санкт-Петербургском строении постановила:
Постановление выполнено не было. Скорее всего, на протяжении следующих почти 20 лет квартал оставался пустым. Сгоревшие торговые ряды перенесли дальше от центра города - на место современного Гостиного Двора. Пустырь же использовался для совершения публичных казней.
В октябре 1754 года это место было выбрано для строительства временной императорской резиденции, которая потребовалась из-за начавшегося строительства нового Зимнего дворца на Дворцовой площади [3, с. 449]. Строил его архитектор Ф. Б. Растрелли. 13 февраля 1755 года он предоставил заказчице проект временного Зимнего дворца, который Елизавета Петровна утвердила 6 марта [2, с. 337]. 29 декабря 1754 года императрица:
Первоначальный проект временного Зимнего дворца Елизаветы Петровны сохранился в архивах Варшавской Национальной библиотеки. Растрелли задумывал это здание так, что парадная анфилада залов расположилась бы вдоль Невского проспекта и закончилась Парадной Опочивальней. Большая Морская улица должна была упереться в парадный двор, где был задуман главный вход во дворец. Сразу за входом, в центре архитектурной композиции здания, был задуман Тронный зал. По сторонам от парадного двора проектировались жилые покои, расположенные вокруг двух боковых внутренних дворов.
Переработанный проект, учитывающий все пожелания заказчицы, был преподнесён ей 13 февраля 1755 года. Елизавета Петровна утвердила его 6 марта [2, с. 337].
Временный Зимний дворец был построен всего за несколько месяцев. На Руси давно умели строить из срубов целые городские кварталы, чем и воспользовался итальянский архитектор. При этом стройка шла и днём и ночью. Ради быстроты сюда перетаскивали детали из разбиравшегося Зимнего дворца Анны Иоанновны. 5 ноября 1755 года газета "Санкт-Петербургские ведомости" написала:
Здание получилось совсем не таким, каким его хотел видеть Растрелли. Оно потеряло композиционную целостность, стало состоять из как-бы случайно приставленных друг другу частей. Архитектор утешал себя лишь пониманием того, что этот дворец долго не простоит.
Главный вход переместился на Невский проспект и придвинут ближе к Мойке. Широкая лестница вела в длинную "Новую" галерею, из второго зала которой можно было попасть в перемещённый ближе к Малой Морской улице Тронный зал. Сразу за ним, со стороны Кирпичного переулка, был построен каменный кухонный корпус с большим количеством печей.
Вдоль Мойки располагалась анфилада личных покоев императрицы. Напротив дворца Строганова был оборудован большой балкон, под которым проходила проезжая часть. На этом балконе весной и летом Елизавета Петровна любила сидеть после обеда. В конце выходящего на Мойку корпуса в 1757 году был построен каменный театр. В нём начала свои выступления первая русская профессиональная театральная труппа Ф. Г. Волкова.
Вдоль Луговой (Малой Морской) улицы от Невского проспекта до Кирпичного переулка тянулась анфилада помещений, в которых жили великий князь Пётр Фёдорович и его супруга, будущая Екатерина II. Окна личных комнат Екатерины выходили в переулок. Напротив этих окон находился дом банкиру Кнутссена, в котором жил Григорий Орлов. Может быть именно там она и увидела впервые своего фаворита. Покои Петра и Екатерины от Тронного зала отделял внутренний двор с садом. В своих "Записках" Екатерина описала впечатления от временного Зимнего дворца:
Пользуясь нашим просторным помещением, Великий Князь еженедельно устраивал балы и концерты, на которых бывали только фрейлины и кавалеры нашего двора с жёнами. На балах бывало весело, смотря по тому, кто бывал на них. Многолюдными нельзя было назвать их. Тут бывала семья Нарышкиных, люди более других общительные. Я к ним причислю Сенявину и Измайлову, которые были сёстры Нарышкиных и жену старшего брата Нарышкина, о котором я упоминала выше. Лев Нарышкин с каждым днём более дурачился... Подходя к моим дверям, он начинал мяучить по-кошачьи; если я ему отвечала, это значило, что он может войти" [Цит. по: 3, с. 451].
Временный Зимний дворец выступал на четыре метра вглубь Невского проспекта относительно современных построек.
Помещения временного Зимнего дворца были отделаны без учёта их недолговечности. Полы покрыли наборным паркетом из дуба, ореха и клёна. Придворный ювелир Позье так описал проводившиеся здесь маскарады:
Балы и маскарады во временном Зимнем дворце проводились два раза в неделю.
Во временном Зимнем дворце 25 декабря 1761 года скончалась императрица Елизавета Петровна. Гроб с её телом стоял в Тронном зале в окружении 6 000 свечей. Сразу после присяги новому императору Петр III переехал в бывшие комнаты Елизаветы Петровны со стороны Мойки. Именно в них он подписал свои первые указы об упразднении "Тайной канцелярии", о запрещении пыток при следствии. В феврале 1762 года Петром III был подписан манифест, даровавший свободу дворянству.
7 апреля 1762 года царская резиденция переместилась в новый Зимний дворец на Дворцовой площади. Вскоре Петра III сместила с трона его супруга, ставшая императрицей Екатериной II. 14 января 1765 года было объявлено о вызове желающих разобрать флигель временного Зимнего дворца и перевезти его в Красное Село. Тогда он был разобран почти полностью. От него остались лишь Тронный зал и каменные театр с кухней. Бывший театр стал жилищем скульптора Э. Фальконе. Сразу за ним был построен корпус для мастерской, необходимой Фальконе для работы над памятником Петру I [3, с. 454]. Детали отделки разобранного дворца пошли на украшения дворцов Алексея Орлова и Захара Чернышёва. Иконостас "с уборами и кафедрой" передали в новопостроенную Знаменскую церковь [1, с. 64].
Часть освободившейся земли в 1767 году Екатерина II подарила генерал-полицмейстеру Петербурга сенатору Николаю Ивановичу Чичерину. Николай Иванович приходился родным братом Денису Ивановичу Чичерину, в роте которого служили братья Орловы. После вступления на престол при поддержке Орловых Екатерины II, они не забыли своего сослуживца. Денис Иванович стал губернатором Сибири, а Николай - санкт-петербургским генерал-полицмейстером.
В 1768-1771 годах для Николая Ивановича Чичерина здесь был построен новый четырёхэтажный дом (Невский пр. 15).
