До 1703 года здесь, близ Невы и Фонтанки, находилась усадьба шведского офицера Конау. Сразу после основания Санкт-Петербурга на этом месте расположилась летняя резиденция Петра I, которую стали называть Летним садом.
По версии историка К. В. Малиновского дом Конау был перенесён ближе к Неве для его переустройства под летнюю резиденцию царя [3]. С осени 1706 по весну 1707 года этим занимался чертёжник артиллерийского приказа Иван Матвеевич Угрюмов. Смерть Угрюмова в 1707 году затормозила работы, что подтверждает доклад Кикина Петру I в феврале 1708 года: "В доме вашего величества делают ныне хоромы, которые велено перенести, и в предбудущем месяце будут готовы" [Цит. по: 3, с. 39]. 12 марта Кикин снова писал царю: "В доме вашем хоромы, которые перенесены в неделю хотя не все, однако поварня и другие будут готовы" [Цит. по: 3, с. 39, 40].
Рядом с Летним домом Петра I к тому времени уже был прорыт небольшой гаванец. Известно, что в 1706 году Угрюмов занимался его углублением [3, с. 37]. Таким образом, вода окружила здание с трёх сторон и подходила к самому крыльцу.
В январе 1711 года Пётр I распорядился перенести деревянное здание в другое место "близ Калинкина моста". На освободившейся площадке в мае начали сооружать фундамент для каменного Летнего дворца Петра I [3, с. 71]. Этот дом был построен на голландский манер, как любил Пётр I. Царь лично составил проект здания, после чего его скорректировал архитектор Доменико Трезини. Он стал одним из первых каменных жилых зданий Петербурга, наравне с Меншиковским дворцом, домом Головкина. Строительство Летнего дворца Петра I велось четыре года.
Фасад здания украшен 28 барельефами работы архитектора Андреаса Шлютера, на которых изображены события Северной войны. Над дверью - фигура Минервы (богиня мудрости) в окружении победных знамён и военных трофеев. Шлютер приехал в Россию в 1713 году и жил в Летнем дворце ещё до окончания его строительства.
На крыше Летнего дворца в 1714 году был укреплён флюгер, показывающий не только направление ветра, но и его силу. Флюгер механически был связан с устройством, которое показывал эти параметры на своеобразном табло внутри здания. Этот прибор был заказан Петром I в Дрездене у придворного механика. Флюгер украшала позолоченная фигура Георгия Победоносца.
В первом этаже Летнего дворца находились покои Петра, во втором - его жены Екатерины и детей. На первом этаже находилась приёмная царя. Здесь он принимал письменные просьбы и устные жалобы. Рядом с приёмной был обустроен карцер, куда Пётр лично запихивал провинившихся и потом сам же выпускал их. Из приёмной можно было попасть в большую комнату "Ассамблею". На втором этаже находилась приёмная императрицы, тронный зал и кухня с печью, в которой Екатерина I пекла своему супругу пироги.
Первая система канализации в Санкт-Петербурге появилась именно в Летнем дворце. Вода подавалась в дом насосами, уходила в Фонтанку. Работе проточной канализации способствовало то, что здание с трёх сторон омывалось водой, движущей силой было течение Фонтанки. После наводнения 1777 года гаванец был засыпан, система канализации действовать перестала.
Подсобных помещений, кроме поварен, в Летнем дворце не было. Для них вдоль Фонтанки было построено другое здание, известное как "Людские покои". Именно в этих помещениях находились знаменитый Янтарный кабинет, анатомическая коллекция Рюйша, библиотека Петра I. Летний дворец с людскими покоями соединяла специальная галерея.
Пётр I жил в этом доме только с мая по октябрь. Потому дворец именуется Летним, имеет достаточно тонкие стены. Здесь 14 комнат, две поварни и два коридора. Высота потолков - всего 3,3 метра. Одной из любимых комнат в Летнем дворце у Петра I была токарная. Её хозяйством заведовал известный механик Андрей Нартов.
Летний дворец служил местом приёма Петром I посетителей с их письменными просьбами. Здесь же проводились государственные совещания министров под руководством императора. После одного из таких совещаний в вестибюле Летнего дворца было совершено покушение на Петра I одним из раскольников. После этого его единоверцам было повелено носить на одежде лоскут из красно-жёлтой ткани, дабы отличать их от других людей.
Летний дворец в виде царской резиденции просуществовал до середины XVIII века. Затем его стали приспосабливать для нужд чиновников. Соответствующие ремонтные работы вносили изменения в облик исторического здания. В 1815 году здесь жил военный министр князь Горчаков, в следующем году - министр юстиции князь Лобанов-Ростовский, в 1822 - военный генерал, губернатор граф Милорадович, после него - министр финансов Канкрин [2, с. 124].
При петербургском наводнении 1824 года Летний дворец затопило до середины окон первого этажа. Об этом событии напоминает старинная бронзовая доска, демонстрирующая уровень подъёма воды.
С 1934 года в Летнем дворце работает историко-бытовой музей.
