В 1708 году на этом участке Дворцовой набережной был построен первый деревянный Зимний дом Петра I. Своим задним фасадом он был обращён к Немецкой (ныне Миллионной улице), главным - к двум наезженным дорогам вдоль Невы. Простоял деревянный дом Петра I недолго, так как после побед в Северной войне царь окончательно решил сделать Петербург столицей. А значит его дом должен соответствовать этому статусу. Кроме того, деревянное жилище стало тесным, подрастали дочери Петра Анна и Елизавета.
В феврале 1711 года было принято решение о строительстве здесь нового здания. Старое было разобрано и перенесено на Петровский остров. Новый дворец оказался выдвинутым в сторону Невы относительно старого и перекрыл старую дорогу вдоль Невы. Отдавая приказ о строительстве, Пётр велел: "Средней дороге не быть". Если бы она осталась, то превратилась бы в типичную для средневекового города узкую улицу-проезд. Таких проездов Пётр в Петербурге иметь не желал. В Петербурге такой стала лишь улица Репина на Васильевском острове.
Примерно в середине теперешнего Эрмитажного театра начали бить сваи. За строительством следил лично князь Меншиков. На стройке трудились пленные шведы, солдаты и даже лучшие работники Адмиралтейства. Каменный дворец закончили возводить к концу ноября, оставались лишь некоторые работы по его внутренней отделке.
Первый каменный Зимний дворец Петра I был создан по чертежам Доменико Трезини. Он был сложен из плоского красного кирпича, типичного для датской архитектуры. Но в отличие от европейских традиций, русский царь пожелал покрасить здание белой краской.
План первого Зимнего дворца Петра I во многом повторял первоначальный план дворца Меншикова. В нижнем этаже располагались склады припасов и комнаты прислуги. В верхних жила семья царя. Рядом с дворцом установили шесть фонарей - первых в Санкт-Петербурге.
19 февраля 1712 года в Зимнем дворце состоялся торжественный пир по случаю бракосочетания Петра I и Екатерины I. Это событие осталось запечатлено на гравюре А. Зубова, которая даёт представление о внутреннем убранстве дворца. Стены зала для свадебного пира украшали привезённые из Фландрии шпалеры с лесными пейзажами. Потолок был расписан под облачное небо с фигурами четырёх ветров по углам. К двум балдахинам были подвешены свадебные короны и паникадила из слоновой кости и чёрного дерева. Их изготовил своими руками царь, на что потратил две недели упорного труда [4, с. 105]. В простенках между окнами видны два больших зеркала. Спустя 12 лет, узнав о измене Екатерины, Пётр в гневе разбил одно из них.
Дворец стоял не вплотную к воде, а царь желал заходить в дом прямо с лодки. Тогда в 1718 году рядом с ним, между Невой и Мойкой, по трассе существовавшего здесь переулка был прокопан новый канал. Так как он вёл к Зимнему дворцу, канал был прозван Зимней канавкой.
Первый каменный дом для Петра оказался тесен уже к осени 1715 года. Стал большим штат придворных дам при Екатерине I и двух дочерях. 29 октября родился долгожданный сын Пётр, скончавшийся ещё в младенчестве. Тогда царь повелел архитектору Маттарнови строить для себя новый дом.
Строительные работы начались весной 1716 года, когда начали бить сваи и укреплять берег реки. Второй каменный Зимний дворец Петра I передвинули ближе к Неве, окончательно покончив со "Средней дорогой". Новое здание строилось очень похожим на типовой городской дом для именитых - в два этажа на высоком цоколе, с центральным ризалитом в четыре окна и треугольным фронтоном над ним, с высокой крышей с переломом.
8 июня 1719 года царь велел Матторнови продолжить строительство, возвести новые помещения вдоль набережной. Готовое к тому времени здание должно было стать западным ризалитом большого дворца. Осуществить этот замысел Маттарнови не успел. Он умер 2 ноября. Его сменил Доменико Трезини. Для защиты дома Петра от строительного шума, его восточная стена была сделана глухой, без окон.
В ещё не достроенный Зимний дворец царская семья переехала 25 ноября 1720 года [4, с. 106]. 27 декабря здесь состоялась первая ассамблея. Шесть помещений нового дворца были отделаны голландской плиткой, как это было в доме Меншикова. За этими работами следили отец и сын Растрелли. Спустя 40 лет Франческо Бартоломео писал, что именно он руководил строительством. Это следует признать неправдой, архитектор хотел приписать себе чужие заслуги.
В мае 1722 года Трезини запрашивал 150 000 кирпичей для стройки. В том же году он хлопотал о выдаче денег резчикам по камню. Первым делом строители возводили центральную часть дворца с парадным вестибюлем, затем его восточный корпус. Только после завершения работы над ними, они присоединили новые корпуса к построенному Маттарнови дому. Строительные работы были полностью закончены летом 1724 года.
О внешнем облике третьего Зимнего дворца Петра I можно судить по сохранившимся с того времени гравюрам. Его центральный ризалит украшен колоннами, которые Трезини на практике не применял. Выходит так, что он строил здание придерживаясь проекта Маттарнови. На аттике здания находились три барочных картуша. Боковые были украшены барельефами двуглавого орла под императорской короной, а центральный - изображением несущейся в лучах Солнца колесницей Аполлона.
Зимний дворец Петра I был самым заметным строением на левом берегу Невы. Мебель для него покупалась в Англии и Голландии. Стены украшались шпалерами, произведёнными во Франции и на петербургской фабрике. Пётр I коллекционировал картины, которые приобретались за границей [2, с. 9].
В сохранившемся за новым зданием втором Зимнем дворце Петра I с 1723 по 1726 год проходили заседания Сената. 22 февраля 1725 года здесь было принято решение о создании Российской Академии наук. Отсюда Сенат переехал в здание Двенадцати коллегий.
28 января 1725 года здесь умер Пётр I. Для прощания с императором во втором этаже центрального корпуса, над парадным вестибюлем, была обустроена "прощальная зала". Прежде это был тронный зал. В ней стоял гроб с телом Петра. Уже после похорон, в июне 1725 года, Франческо Бартоломео Растрелли установил здесь восковую фигуру Петра I, выполненную Бартоломео Карло Растрелли. Спустя год восковую персону перенесли в Кунсткамеру.
После смерти Петра во дворце продолжила хозяйствовать его вдова Екатерина I. Царский двор веселился, росло число слуг. Стали необходимы новые помещения.
20 мая 1726 года начались работы по перестройке дворца. Для возведения новых корпусов сломали старый, находящийся во дворе, Зимний дом. Екатерина I повелела "старые палаты, которые стояли посреди двора в два апартамента, по каналу в один апартамент, разобрать, и материалы, что выберутся, употреблять... в новое строение" [Цит. по: 3, с. 78].
Новое здание было выстроено в форме каре. Вдоль Зимней канавки, Немецкой улицы и соседней бывшей усадьбы Скляева выросли двухэтажные корпуса. Со стороны двора оба этажа этих корпусов были снабжены обходными галереями. Высота новых построек была на 1 метр и 10 сантиметров выше дворца. Возможно, Трезини рассчитывал в будущем довести до этой высоты и корпуса на берегу Невы. Двор был вымощен голландским кирпичом, разбиты цветники.
Новые апартаменты были готовы в ноябре 1726 гола, 14 ноября сюда переехала царская семья. Но уже 6 мая 1727 года Екатерина I ушла из жизни. Дворец перестал быть царской резиденцией. Императрица Анна Иоанновна сразу же после восшествия на престол повелела расширить здание. Для неё Трезини пристраивал новые покои к западному флигелю, увеличив ширину здания до 20 метров. Но Анна Иоанновна здесь так и не поселилась, разместившись во дворце адмирала Апраксина. Помещения заняли придворные итальянские певцы и часовщик. Правительницей Анной Леопольдовной бывшая комната денщиков Петра I была передана Растрелли в качестве рабочей мастерской.
В середине 1730-х годов К. Р. Берк писал:
Дочь Петра I Елизавета, будучи при власти, разместила во дворце роту Преображенского полка, которая помогла ей взойти на престол. Пётр III вновь поселил здесь музыкантов и других придворных служителей.
В 1749 и 1764 годах в Зимнем дворце Петра I проводились ремонтные работы, при которых переделывались его помещения.
3 сентября 1783 года императрица Екатерина II подписала указ о строительстве на месте старого Зимнего дворца Петра I театра. Так как он возводился как часть единого комплекса с Малым и Большим Эрмитажами, то его назвали Эрмитажным театром. 23 сентября указ был дополнительно разъяснён И. И. Бецкому:
Так автором проекта здания Эрмитажного театра стал архитектор Джакомо Кваренги. За год построить большое каменное здание, конечно, было невозможно. Поэтому 17 ноября 1784 года Екатерина II выделила на строительство ещё 36 960 рублей, что позволило завершить основные работы в следующем строительном сезоне.
В 1800 году Кваренги поселился в собственной квартире при Эрмитажном театра. Здесь же он умер через 17 лет. Зодчий так описал свою работу:
Эрмитажный театр Кваренги оборудовал залом-амфитеатром. Здесь Екатерина II смотрела спектакли в узком кругу своих придворных, сидела она обычно во втором ряду рядом с очередным фаворитом. Граф Эстергази так описывал посещение Эрмитажного театра Екатериной II:
Не редко пьесы ставились для одного-двух человек. Например, комедию В. В. Капниста "Ябеда" Павел I смотрел вдвоём с сыном Александром.
В постановках Эрмитажного театра принимали участие не только профессиональные артисты. Например, в декабре 1889 года здесь была дана третья часть трилогии "Царь Борис". В спектакле были задействованы: великий князь Сергей Александрович, принц Ольденбургский, княгиня Васильчикова, князья Воронцовы-Дашковы, князь Мещерский и другие представители знати. Вместе с ними играли офицеры, ученики драматических училищ [2, с. 45].
В 1907-1917 годах в Эрмитажном театре находилась церемониальная часть министерства императорского двора и уделов.
Долгое время считалось, что Кваренги ничего не оставил от возведённых по проекту Маттарнови стен. Но в 1979 году археолог Е. Баженова открыла своды цокольного этажа дворца Петра I. Через шесть лет была начата реставрация Эрмитажного театра, когда и было окончательно выяснено, что нижний этаж здания сохранил каменную кладку начала XVIII века. Для строительства нового здания Кваренги использовал фрагменты стен Зимнего дворца Петра I: западный корпус, Большие сени и служебные помещения первого этажа центральной части здания. Со стороны Зимней канавки сохранился фасад длиной около 20 метров: фундамент, стены цокольного, первого и второго этажей.
13 мая 1992 года в отреставрированных залах открылся музей "Зимний дворец Петра I". Осенью 2000 года на стене Эрмитажного театра установили посвящённую Петру I мемориальную доску.