Здание Малого Эрмитажа расположено на участке между Дворцовой набережной и Миллионной улицей рядом с Зимним дворцом. В 1705-1706 годах на участке, который ныне занят южным павильоном Малого Эрмитажа, а также на соседней территории с востока от него, был построен деревянный дом вице-адмирала Крюйса. В 1719-1723 годах на месте северного павильона был построен новый каменный дом Крюйса, старый оказался в глубине двора [5].
Появление здесь другого здания обусловлено желанием Екатерины II пристроить к своей резиденции павильон с Висячим садом. В 1763 году соответствующий проект был составлен архитектором Ж. Б. Валлен-Деламотом, в 1764 он начал реализовываться. В процессе строительства проект дорабатывался Ю. М. Фельтеном, который возводил южную часть Висячего сада. В 1765 году ему было велено в корпусе со стороны Миллионной улицы обустроить помещения для фаворита императрицы графа Г. Г. Орлова. Я. Штелин свидетельствовал:
В XVIII веке здание называли также по фамилии архитектора "Ламотовым павильоном". С Зимним дворцом Малый Эрмитаж связан специальным переходом по арке, сооружённом также Ю. М. Фельтеном. Висячий сад располагается на уровне второго этажа. В 1765 году вокруг него установили деревянную резную ограду. Живописец А. Перезинотти расписал её под натуру, из проволоки сделали древесные сучья, из меди - кленовые листья. Мастер И. Ф. Дункер выполнил из дерева плоды. В сентябре 1766 года для Малого Эрмитажа у А. Перезинотти за 2 000 рублей были приобретены выписанные им из Италии пять плафонов, у столярного мастера Фрейлиха - наборный паркет из разных сортов дерева за 400 рублей. Тогда же в садике поставили мраморные статуи "Скульптура" и "Пиктура" работы скульптора Фальконе.
К достройке северного павильона Малого Эрмитажа приступили после приказа Бецкого Конторе от строения Зимнего каменного дома в феврале 1767 года: "От Невы досталную часть саду и на Неву верхнее строение также с поспешанием исправлять" [Цит. по: 4, с. 420, 421]. Проект северного павильона исполнил Ж. Б. Валлен-Деламот. Исполнен вчерне он был уже к ноябрю 1767 года. Важно отметить, что современники особо отмечали зависимость фасада нового здания от его наполнения. Колонны на фасаде соседнего Зимнего дворца играют только декоративную роль, тогда как колонны северного павильона Малого Эрмитажа действительно несут на себе нагрузку антаблемента. О новом применённом здесь принципе архитектуры в ноябре 1767 года участвовавший в строительстве Игнацио Росси писал Бецкому:
Фасад павильона украшали скульптуры Флоры и Помоны, олицетворяющие богатство растительного мира и земное плодородие [6, с. 269].
В примыкающем с севера к оранжерее зале Екатерина II в сентябре 1768 года приказала: "в новопостроенной при Зимнем доме оранжерее в эрмитаже сделать против царскосельского, чтоб два стола один за другим выходить могли, а в ненадобности пол задвигался" [Там же]. Приказ был выполнен вольными столярными мастерами Иоганом Цунфортом и Христофором Фрейтагом к следующему февралю. Так в Малом Эрмитаже были оборудованы подъёмные столы на шесть приборов, что позволяло императрице и её гостям принимать пищу без присутствия слуг. Это устройство подробно описал Беллерман:
В марте 1768 года Бецкой приказал приступить к возведению галереи со стороны Зимнего дворца. Вскоре была построена не только западная, но и восточная галерея. С южной стороны они объединились третьей. В январе 1769 года по требованию хранителя императорских коллекций живописи Л. К. Пфандцельта для установки в галереях картин было изготовлено до ста рам, готовых к золочению.
Строительство северного павильона было завершено в 1769 году. В его центре располагался двусветный зал, украшенный плафоном работы Стефано Торелли и статуями в углах. Между ним и висячим садом находилась оранжерея. Подъёмные столы находились в одном из помещений, примыкавших к залу и оранжерее с востока и запада.
В висячем саде высаживались на клумбах белые и алые розы. Вдоль всего пространства сада росли ряды берёз, подстригаемые в форме пирамид. Летом сад дополнялся экзотическими растениями, которые на зиму убирались в оранжерею.
Первый ужин Екатерины II в новых покоях состоялся 1 февраля 1769 года. Через неделю сюда был приглашён английский посол Чарльз Каткарт:
Так здесь состоялось первое из "малых эрмитажных собраний", которые впоследствии дали название всему зданию - "Малый Эрмитаж". В парадных комнатах Малого Эрмитажа императрица принимала гостей. Здесь устраивались увеселительные вечера, придворные играли в различные игры, ставились пьесы написанные самой Екатериной. Она же составила специальные правила для гостей:
Нарушителям последнего правила запрещалось посещение следующих вечеров.
Картины, скульптуры и другие предметы искусства собранные Екатериной II хранились в галереях Малого Эрмитажа. Это собрание положило начало коллекции самого известного музея в России. Сама идея создания музея пришла к Екатерине в покоях Малого Эрмитажа. В одном из писем она призналась что картинами вместе с ней могут любоваться разве что мыши, и что она желает исправить эту ситуацию. Впоследствии здесь был открыт музей и библиотека. Позже, когда места для коллекции стало не хватать, были построены Большой и Новый Эрмитаж.
Подъёмные столы просуществовали в Малом Эрмитаже до конца XVIII века, когда были разобраны за ненадобностью. В 1799 году кабинет "эрмитаж" был полностью переделан.
В 1840-1844 годах здание перестраивал архитектор В. П. Стасов. В 1850-1858 годах архитектор А. И. Штакеншнейдер переделывал интерьеры. На месте пяти небольших отдельных комнат Малого Эрмитажа им был создан новый зал. Он расположен в северном Павильонном корпусе, из-за чего получил такое же название - Павильонный зал. Окна с одной его стороны выходят на Неву, а с другой - в висячий сад.
По воспоминаниям князя Сергея Михайловича Волконского:
Располагавшиеся в Малом Эрмитаже манеж и конюшни в 1931 году были сданы в аренду Кавалерийской школе ОСОАВИАХИМа. Другие помещения использовались как склады. К 1938 году почти все комнаты Малого Эрмитажа стали служить музейным целям [6, с. 247].
В Павильонном зале Малого Эрмитажа расположены музейные экспонаты, одним из которых являются знаменитые часы "Павлин".