До 1710-х годов этот участок Дворцовой набережной являлся низким и часто затопляемым берегом Невы. После укрепления берега здесь появились особняк вице-адмирала К. Крюйса (в 1719-1723 годах) и дом Г. П. Чернышёва, а также дом придворных прачек. Последний соседствовал с Зимним дворцом Петра I.
Первыми специализированными помещениями для хранения императорских коллекций стали галереи соседнего Малого Эрмитажа. Вскоре этих галерей стало не хватать. В мае 1770 года Екатерина II приказала построить вдоль Дворцовой набережной новое каменное здание "в линию с эрмитажем". Оно возводилось с февраля 1771 года в течение двух лет по проекту Ю. М. Фельтена и под руководством каменных дел мастера Джованни Джеронимо Руска. Работу завершили в 1774 году. Тогда на берегу Невы появился новый корпус шириной в 10 осей, который с северным павильоном Малого Эрмитажа соединила переходная галерея. Новое здание заняло бывший участок Крюйса.
Спустя ещё два года на месте обветшавшего дома Чернышёва и дома придворных прачек было решено продолжить возведение каменного здания, которое протянулось теперь вплоть до Зимней канавки. Работы, начавшиеся в середине 1777 года и длившиеся два строительных сезона, велись по проекту и под руководством тех же специалистов. Вторая часть здания получила 17 осей по фасаду. Общий, объединивший две части, фасад был создан в 1787 году. Позже была устроена арка над Зимней канавкой, соединившая Большой Эрмитаж с Эрмитажный театром.
Отделка интерьеров Большого Эрмитажа производилась постепенно, Екатерина II обсуждала с Фельтеном оформление каждого зала.
Из-за существования Малого Эрмитажа новая постройка стал называться Большим Эрмитажем. После появления по соседству Нового Эрмитажа это здание стали именовать Старым Эрмитажем. Здесь разместились дворцовая художественная коллекция и библиотека. Интерьеры Большого Эрмитажа описал И. Г. Георги:
Большинство помещений Большого Эрмитажа были отданы под размещение коллекций. Но некоторые комнаты были жилыми. Здесь находились Диванная, Бильярдная, Опочивальня и Уборная. Верхний и нижний этажи вмещали комнаты фрейлин и других приближённых ко двору лиц. Вход в здание был со стороны Зимней канавки.
За зданием Большого Эрмитажа первоначально оставались старые двухэтажные корпуса дома прачек. На их месте в 1792 году архитектор Д. Кваренги соорудил новый корпус Большого Эрмитажа для размещения Лоджии Рафаэля. Эта лоджия является точной копией галереи папского дворца в Ватикане. Только если в Риме она открыта, то в Петербурге из-за холодного климата лоджии со стороны Зимней канавки закрыты окнами. Копии рисунков с лоджий Рафаэля в 1778 году начал выполнять итальянский художник Кристоф Унтербергер, которому помогал В. Петер. Ими руководил один из самых известных археологов И. Ф. Рейфенштейн, являвшийся доверенным лицом Екатерины II. Именно по его совету Екатерина II пригласила в Санкт-Петербург Джакомо Кваренги.
Первоначально Екатерина II желала устроить только одну секцию лоджии. Но Н. Б. Юсупов, который организовывал эти работы, убедил императрицу и римского папу в необходимости копирования всего зала.
В здание ведут два подъезда. Ближний к Малому Эрмитажу носит название "Советский". Это название не имеет никакого отношения к СССР. Подъездом пользовались члены Госсовета и Комитета министров, который заседал в здании Большого Эрмитажа с 1 января 1810 по 1870 год. Парадная лестница также стала называться "Советской". Второй подъезд носит более скромное имя - "Малый подъезд".
Изначально здесь жили придворные служащие, в XIX веке помещения стали использоваться как хранилища коллекций. В 1852 году по указу Николая I Новый и Большой Эрмитажи стали открыты для публики. В 1860 году проводилась реконструкция интерьеров под руководством архитектора А. И. Штакеншнейдера. Он же устроил металлический "зонтик" с фонарями у восточного подъезда со стороны Невы [4, с. 174, 175].
Помещения занимаемые Госсоветом и Комитетом министров были возвращены Эрмитажу в 1885 году.
В 1899 году парадные помещения стали жилыми покоями.
