Участок, на котором находится Михайловский (Инженерный) замок, в начале XVIII века был частью Летнего сада - основанной Петром I царской усадьбы. Здесь, рядом с местом соединения Мойки и Фонтанки, императрица Анна Иоанновна незадолго до своей смерти повелела архитектору Ф. Б. Растрелли строить дворец "с крайней поспешностью". При её жизни приступить к этой работе зодчий не успел.
В конце 1740 - начале 1741 года взявшая в свои руки власть Анна Леопольдовна также решила построить на этом месте свой дом. От её имени генерал-губернатор Миних приказал Растрелли составить соответствующий проект. Чертежи были готовы к концу февраля 1741 года. Но зодчий не спешил предоставить их Миниху, а отвёз документы в Гоф-интендантскую контору, что откладывало утверждение проекта на несколько недель. Вероятно, Растрелли догадывался о скорой перемене во власти и не спешил исполнять приказ. Архитектор был прав. 3 марта Петербург известили об отставке Миниха. 24 ноября состоялся дворцовый переворот, в результате которого к власти пришла дочь Петра I Елизавета. К этому времени Летний дворец уже был заложен.
Относительно даты закладки дворца в краеведческой литературе есть разные версии. Историк Юрий Овсянников в книге "Великие зодчие Петербурга" пишет о том, что она произошла 24 июля 1741 года в присутствии правительницы Анны Леопольдовны, её мужа генералиссимуса Антона Ульриха, придворных и гвардии [1, с. 255]. Георгий Зуев в книге "Течёт река Мойка" называет месяцем закладки Летнего дворца не июль, а июнь [2, с. 139]. Такого же мнения придерживается К. В. Малиновский в книге "Санкт-Петербург XVIII века" [3, с. 300].
Новый дом стал известен как Летний дворец Елизаветы Петровны. Сразу после восшествия на престол она доверила Растрелли завершение его внутренней отделки. Вчерне здание было готово к 1743 году. Дворец стал первым собственным домом Елизаветы Петровны, в котором до неё никто не жил. В награду за эту работу императрица повысила архитектору жалование с 1 200 до 2 500 рублей в год.
Летний дворец Елизаветы Петровны соединялся с Невским проспектом идущей вдоль Фонтанки дорогой. Подступ к зданию фланкировали одноэтажные кухня и гауптвахта. Между ними находились ворота, украшенные золочёными двухглавыми орлами. За ними - парадный двор. Главный фасад дворца был обращён на Летний сад, к которому через Мойку с 1745 года вёл крытый мост-галерея. Первый этаж здания был каменным, на нём покоились деревянные обработанные штукатуркой стены светло-розового цвета. На их фоне выделялись белые наличники окон и пилястры. Цокольный этаж дворца был облицован гранитом зеленоватого оттенка.
В центральном корпусе находился двухсветный Большой парадный зал с царским троном у западной стены. Императрица жила в восточном крыле дворца, со стороны Фонтанки. В западном крыле жили придворные. Растрелли так писал о Летнем дворце Елизаветы Петровны:
В упомянутом Эрмитаже, построенном в 1746 году, по свидетельству Якоба Штелина хранились картины исключительно религиозного и библейского содержания. Некоторые из них сейчас находятся в Государственном Эрмитаже и Павловском дворце. Залы Летнего дворца Елизаветы Петровны были украшены богемскими зеркалами, мраморными скульптурами и картинами знаменитых художников.
Франческо Бартоломео Растрелли не был полностью удовлетворён этой своей работой. Спустя ещё десять лет после окончания строительства, он ещё что-то доделывал и переделывал. Стены здания украшались фигурными наличниками окон, атлантами, львиными масками и маскаронами. В 1752 году Растрелли пристроил к северо-восточному углу дворца "новый большой галерейный зал". Владелицу дворца мало интересовала архитектурная цельность здания. Главным для неё была лишь роскошь окружающего пространства.
В Летний дворец из Зимнего императрица переселялась со всем своим двором 30 апреля. Обратно - 30 сентября. Здесь Елизавета делала перерыв в своей государственной службе. В Летнем дворце она предпочитала только отдыхать.
Здесь в 1754 году родился и провёл первые годы жизни великий князь Павел Петрович, будущий император Павел I. Летний дворец Елизаветы Петровны в 1762 году стал местом торжеств по случаю заключения мира с Пруссией после завершения Семилетней войны.
Для Екатерины II Летний дворец Елизаветы Петровны стал местом, где она принимала официальные поздравления дипломатического корпуса в связи с её вступлением на престол. В его стенах она услышала новость о смерти Петра III.
В первый же месяц царствования Павла I, 28 ноября 1796 года, вышел указ: "для постоянного государева проживания строить с поспешанием новый неприступный дворец-замок. Стоять ему на месте обветшалого Летнего дома". Император не желал жить в Зимнем дворце. Он предпочёл жить на том месте, где родился. Так якобы и было принято решение о строительстве нового дворца, сменившего собой Летний дворец Елизаветы Петровны.
