Первым владельцем этот участка на Невском проспекте 26 ноября 1740 года стал архитектор М. Г. Земцов:
Зодчему была доверена застройка всей северной стороны Невского проспекта от Мойки до Малой Садовой улицы - по его проекту здесь строились все жилые дома. Строить свой особняк он начал в конце своей жизни. Архитектор умер в 1743 году не успев его завершить. У его вдовы участок был выкуплен в 1747 году императрицей Елизаветой Петровной. В газете "Санкт-Петербургские ведомости" в 1749 году можно было прочитать такое объявление:
В 1760-х годах участок принадлежал купцу А. А. Абросимову, затем иностранному купцу Ф. В. Амбургеру. В конце XVIII - начале XIX века здесь работала книжная лавка В. С. Скопикова.
С 1790-х годов домом №48 на Невском проспекте владела княгиня Е. Н. Вяземская, а затем её внучка графиня А. Д. Влодек. В 1836 году здесь жили голландский посол барон Геккерн, его приёмный сын Жорж Дантес с супругой. После дуэли с А. С. Пушкиным Дантес уехал из России.
Следующим владельцем участка в 1845 году стал граф Яков Иванович Эссен-Стенбок-Фермор. По его заказу в 1846-1848 годах архитектором Р. А. Желязевичем здесь было построено новое здание. Его прототипом послужила Голицинская галерея в Москве. На первом этаже архитектор разместил склады, на втором помещения для торговых заведений, на третьем - квартиры. Подвал также предусматривал размещение торговых заведений. В корпусе со стороны Итальянской улицы разместился концертный зал. Название универмага "Пассаж" происходит от французского "passer" - бродить. Крытая улица-галерея торгового комплекса протянулась на 180 метров. Его открытие состоялось 9 мая 1848 года.
Задуманный графом торговый центр стал одним из первых подобных в России. В основу комплекса были положены трёхярусные галереи со сквозным средним проходом, перекрытым стеклянной крышей. Галереи вместили 104 магазина, соединялись продольными балконами и двумя мостиками. Кроме магазинов здесь работали гостиницы, кофейни, бильярдные, анатомический музей, музей восковых фигур, панорамы, мастерские и квартиры.
Если в Европе подобные торговые центры часто возникали стихийно, на месте естественного потока прохожих, то в России это было совсем не так. Газета "Северная пчела" писала по этому поводу:
В 1854 году хозяйкой "Пассажа" стала супруга брата бывшего владельца - Н. А. Стенбок-Фермор. В концертном зале с 10 января 1860 года устраивались вечера Литературного фонда. Здесь выступали И. С. Тургенев, Н. А. Некрасов, Ф. М. Достоевский, Н. Г. Чернышевский, Т. Г. Шевченко. В 1879 году часть помещений занял банк "Лионский кредит" - единственный зарубежный банк допущенный к работе в России.
В 1883 году архитектор Ф. К. фон Пирвиц обновил металлические балконы и мостики галерей. В 1901 году архитектором С. С. Козловым, работающим управляющим "Пассажа", торговый комплекс был перестроен для его новой владелицы - княгини Н. А. Барятинской. Здание выросло на один этаж, к главному фасаду был пристроен входной двухколонный портик. Фасад облицевали радомским песчаником. Изменилась планировка здания. Часть галерей заняли выставочные залы, балконы были демонтированы, смонтирован новый световой фонарь.
Концертный зал в 1902 году был превращён в театр. В 1904-1906 годах здесь работал Новый драматический театр В. Ф. Комиссаржевской. Занавес концертного зала снимался в аренду купцами. На нём купцы за большие деньги размещали рекламу своих товаров. Вера Фёдоровна Комиссаржевская первым делом отказалась от такого занавеса. В годы первой русской революции некоторые постановки превращались в политические демонстрации. 10 ноября 1904 года при показе пьесы М. Горького "Дачники" зрители долго свистели и кричали, требовали на сцену автора. Сам писатель охарактеризовал премьеру "Дачников" как лучший день в его жизни. В 1906 году театр Комиссаржевской переехал на Офицерскую улицу.
Далее до 1912 года в театре давали оперетты. Затем помещение занимал театр С. Ф. Сабурова, до 1920-х годов - театр "Комедия". Новый выставочный зал использовался для в том числе для кинематографа Русского акционерного общества "Аполлон", основанного братьями В. К. и А. К. Булла, с 1912 года - кинотеатр "Солейл". В декабре 1916 года в подземном тоннеле "Пассажа" открылось ночное кабаре "Би-Ба-Бо", вход в которое был дорог - 10 рублей. Кабаре называли также "Литературно-критическим кружком", литературной частью которого руководил поэт Н. Я. Агнивцев.
В 1920 году "Пассаж" был закрыт, в 1922 году открыт вновь как кооперативное предприятие Петроградского единого потребительского общества "Универсаль Пассаж". В 1933 году он стал государственным универмагом. В 1934 году здание было частично перепланировано по проекту архитектора Н. А. Троцкого. Между галереями были устроены лестницы и мост-переход. Галереи получили анфиладный проход.
В 1944 году сюда из Театра комедии (дом №56) был переведён Блокадный театр, в 1959 году переименованный в Ленинградский драматический театр им. В. Ф. Комиссаржевской.
В 1961 году в "Пассаже" открылся первый в СССР универмаг для женщин.
