В 1740-х годах на этом участке по Миллионной улице находился дом начальника придворной конторы при императрице Елизавете Петровне Дмитрия Андреевича Шепелева. В 1760-х годах здесь разместили Пажеский корпус.
Создание нового здания для коллекции Эрмитажа обуславливалось непрерывным пополнением его коллекций. В первой трети XIX века были произведены раскопки в Керчи и Причерноморских степях, открывшие многочисленные памятники древности, многие из которых привозились в Петербург. После разгрома Польского восстания 1830-1831 годов по повелению Николая I многие коллекции живописи и скульптуры перевозились из Польши в Россию. Наконец, после пожара в Зимнем дворце 1837 года император принял решение о строительстве специализированного музейного здания. Естественно, что место для него было выбрано рядом с уже существовавшим музейным комплексом из Малого и Большого Эрмитажа, где к тому времени стоял дом Шепелева.
Автором проекта нового здания был выбран известнейший немецкий архитектор Лео фон Кленце, к тому времени уже имевший соответствующий опыт. В Мюнхене он построил здания музея античной скульптуры (Глиптотеки), Старой Пинакотеки (картинной галереи) и множество других зданий. В 1838 году Николай I побывал в Мюнхене и заказал фон Кленце проект Императорского музеума для Петербурга.
Приняв предложение Николая I Лео фон Кленце прибыл в Санкт-Петербург в мае 1839 года, пробыл здесь четыре месяца. С собой он привёз два черновых варианта планировки будущего музея. 17 июля он познакомил с ними архитектора В. П. Стасова. 23 июля император утвердил "Предложение об устройстве Музеума в Шепелевском доме и Эрмитажном здании с перестройкой оных".
Для реализации проекта была создана Особая комиссия по возведению Музеума, во главе которой встал Главноуправляющий путями сообщения и публичными зданиями граф П. А. Клейнмихель. В его подчинение вошли инженеры А. Д. Готман, И. К. Кроль, В. П. Есаулов, архитекторы В. П. Стасов, А. П. Брюллов и Н. Е. Ефимов.
Главный архитектор не жил в России, приезжал на стройку только при крайней необходимости. Сюда он приезжал семь раз. На месте работами руководили архитекторы В. П. Стасов и Н. Е. Ефимов. Лео фон Кленце и его помощником Гальбигом было создано более 800 чертежей, на которых были изображены залы в мельчайших деталях, вплоть до планов размещения экспозиции.
Здание Нового Эрмитажа строилось во время господства в петербургской архитектуре стиля "эклектика". Исходя из декларируемого этим стилем принципа "умного выбора", архитектор одел постройку в "неогреческий" фасад. Стиль "неогрек" больше всего подходил для нового типа здания, ведь величайшие произведения искусства были созданы мастерами Древней Греции. Какого либо современного прототипа для здания музея тогда просто не существовало.
Первоначально планировалось устроить главный фасад Нового Эрмитажа со стороны Зимнего дворца. Однако уже во время строительства появилось распоряжение об устройстве главного входа со стороны Миллионной улицы. Готовые оконные проёмы со стороны Зимнего дворца заложили кирпичом, проёмы оставили для размещения в них статуй. Тогда же был создан парадный портик. До 1930-х годов он был главным входом в Эрмитаж.
Главный вход в Новый Эрмитаж фон Кленце предложил оформить десятью фигурами атлантов, прототип которых стали фигуры, когда-то размещавшиеся на фасадах древнего храма Зевса в Акраганте (на Сицилии), построенном в V веке до н. э. Лео фон Кленце хотел выполнить атлантов из красного гранита. По его рисункам скульптор И. Гальбиг в Мюнхене даже успел выполнить малую модель, присланную в Петербург. Но В. П. Стасов предложил использовать для фигур серый сердобольский гранит, а скульптор Александр Иванович Теребенёв в 1846 году значительно переработал оригинальный замысел. Его вариант и был принят к исполнению. Главным помощником Теребенёва был каменотёс Г. А. Балушкин. Вытёсыванием каменных фигур занимались 150 человек. Окончательную отделку фигур производил сам скульптор, он лично занимался их лицами. К 1 сентября 1848 года атланты были готовы и установлены на свои места [3, с. 306]. Работа удовлетворила фон Кленце. Он отметил, что "красота и благородный стиль этих скульптур, чистота и точность работы не оставляют желать ничего лучшего", а также, что эти атланты "в отношении подлинной художественной ценности красоты во многом превосходят как гранитные монолиты колоссов египетских фараонов... так и всё известное в том же роде" [Цит. по: 4, с. 106].
28 статуй на фасаде Нового Эрмитажа изображают мастеров искусств древнего мира. Латинским алфавитом указаны их имена. По сторонам от входа в Новый Эрмитаж установлены шесть металлических скульптур, по три с каждой стороны. Места для статуй выбирались исходя из расположения залов. Западная часть Нового эрмитажа была отдана под экспозицию античной скульпторы, восточная - под библиотеку и кабинет рисунков. Если стоять к зданию лицом, то справа налево у стены первого этажа будут: Рафаэль Морген (итальянский гравёр, скульптуру выполнил Н. А. Токарев), Дедал (герой древнегреческого мифа, автор - Н. А. Устинов), Иоганн Иоахим Винкельман (немецкий историк античного искусства, автор - Н. А. Устинов), Смилид (древнегреческий скульптор, авторы - В. И. Демут-Малиновский и А. И. Теребенёв), Онат (древнегреческий скульптор и литейщик, авторы - В. И. Демут-Малиновский и А. И. Теребенёв), Марк Антонио Раймонди (итальянский гравёр, автор - Н. А. Токарев). На консолях второго этажа разместили великих художников Нового времени: Дюрера, Рубенса, Тициана и других.
На фронтоне Нового Эрмитажа со стороны Зимней канавки помещен барельеф А. И. Теребенёва "Власть, покровительствующая искусству". Он изготовлен из покрытого медью цинка.
21 сентября 1850 года здание получило официальное название - Новый Эрмитаж. Торжественное открытие музея состоялось 5 февраля 1852 года. Новый Эрмитаж стал первым в России специализированным музейным зданием, построенным специально для хранения художественных коллекций. Большинство из его 60 залов и кабинетов дошли до наших дней без изменений.
Если фасад Нового Эрмитажа выполнен в неогреческом стиле, то интерьеры частично сохранили принципы классицизма. Например - Главная лестница и Кабинет гравюр. Другие же помещения были оформлены в "неогреке", в частности Двадцатиколонный зал, предназначенный для экспонирования древнегреческих ваз. Так было сделано не случайно, так как фон Кленце желал отразить в облике выставочных залов характер экспонатов. С немецким архитектором спорил Н. Е. Ефимов, предложивший сделать все перекрытия первого этажа сводчатыми - такое решение подсказывала сложившаяся к тому времени строительная практика. В. П. Стасов и А. П. Брюллов поддержали соотечественника: "Предлагая своды вместо балок, не было упущено из виду, что музеум в С.-Петербурге должен помещать редкости различных времён, а потому своды те предназначено образовать и украсить согласно времени предков, для коих залы сии предназначены" [Цит. по: 4, с. 107, 108].
Главная лестница Нового Эрмитажа украшена 16 колоннами из красного гранита рапакиви. Первый этаж по задумке Лео фон Кленце был отдан коллекции Древней и Новейшей скульптуры (сейчас в них находится только античная скульптура). Восточная анфилада отдавалась под экспозицию рисунков и рукописей. Большие залы второго этажа, предназначенные для экспозиции произведений живописи Нового времени, были оборудованы световыми фонарями, устройство которых в процессе строительства разработал архитектор П. Очаков. В этих залах разместили картины европейских мастеров испанской, итальянской и фламандской школ. С северной стороны от них устроены небольшие залы для малых картин. Паркетные полы залов второго этажа набраны из разных ценных пород дерева.
В зале "Большой вазы" находится знаменитая Колыванская ваза. Она является самой тяжёлой каменной вазой в мире. Её чаша монолитна. Размеры вазы таковы, что её было необходимо устанавливать до возведения стен Нового Эрмитажа.
В одном из залов Нового Эрмитажа находится статуя Венеры Таврической. Её обнаружили в Риме во время раскопок в 1718 году, Петром I она была выкуплена и привезена в Санкт-Петербург. Первоначально она стояла в Летнем саду, затем украшала дворец князя Потёмкина-Таврического. От имени князя Венера и стала также именоваться Таврической. С постройкой Нового Эрмитажа она переселилась в его залы.
Подъезд с атлантами в советское время стали называть Халтуринским, по фамилии террориста Степана Халтурина, устроившего взрыв в Зимнем дворце. Миллионная улица тогда также была Халтуринской. Но это название подъезда не прижилось. По рассказам старых экскурсоводов так чаще называли туалет в вестибюле Нового Эрмитажа.
29 декабря 1941 года в портик попал немецкий снаряд, на торсе одного из атлантов появилась "рваная рана". Однако атлант продолжил держать полуразрушенный портик.
