Первое трёхэтажное здание на участке дома №56/8 по Невскому проспекту было построено в конце XVIII - начале XIX веков для купца И. Апайщикова. В 1820-х годах от наследников Апайщикова участок перешёл сенатору Д. О. Баранову, затем Бутримовой. При ней здесь работали итальянский магазин, чайная и винная лавки.
В 1850-х годах дом №56 принадлежал графу Г. Ф. Менгдену, затем барону Е. П. Мейендорфу. В середине XIX века здесь работал книжный магазин А. Давыдова и контора журнала "Военный сборник", главным редактором которого был Н. Г. Чернышевский. В 1863 году по проекту архитектора А. И. Тихобразова здание было надстроено ещё двумя этажами. В нём располагалась кофейня Исакова, где встречались члены террористической группы "Народная воля".
Флигель здания по Малой Садовой улице в январе 1881 года занял "Склад русских товаров Е. Кобозева". Эти помещения использовались народовольцами для организации покушения на императора Александра II. Из подвала под улицу они рыли подкоп для закладки мины. Однако в день запланированного покушения император изменил свой маршрут.
В 1898 году участок был выкуплен главой торгового общества "Братья Елисеевы" купцом 1-й гильдии Григорием Григорьевичем Елисеевым. В 1900 году "придворным" архитектором Елисеевых Г. В. Барановским корпус по Малой Садовой был надстроен до шести этажей. В следующем году был утверждён проект главного здания, осуществлённый в 1902-1903 годах, к 90-летию семейного дела Елисеевых. Барановским было построено новое угловое здание в стиле модерн. Кроме главного магазина торгового общества здесь разместился театр и ресторан. Одновременно с этим были реконструированы другие флигели, в одном из которых разместился банк.
Фасад здания украсили аллегорические фигуры торговли, промышленности, искусства и науки. Гранитную облицовку фасада выполнило Восточно-Финляндское гранитное акционерное общество. Здание заметно выделяется среди своего окружения. Архитектурные критики часто сравнивают его формы с тортом.
Основой углового здания служит протокаркасная система. На восемь мощных пилонов опираются плоские перекрытия из спаренных забетонированных металлических балок и "купольное" завершение из сегментных решетчатых ферм. Залы первого и второго ярусов выделены на фасаде огромной аркой. Третий ярус обозначал ныне утраченный сплошной балкон. Мотив арки-витража возник под воздействием торговых домов в Париже и торгового дома Аршинова в Москве, построенного Ф. О. Шехтелем. Аналогичный приём использовал С. А. Бржозовский при строительстве Витебского вокзала [3].
Торжественное освящение магазина Елисеевых состоялось 7 сентября 1903 года. Для этой церемонии из Казанского собора принесли его главную святыню - Казанскую икону. При освящении пел хор, целиком состоявший из членов семьи Елисеевых. Мероприятие продолжил банкет, на котором кроме семьи Елисеевых и их друзей присутствовали 150 сотрудников фирмы.
Угловое здание включёно в единую систему, в которую входят и соседние корпуса по Невскому проспекту и Малой Садовой улице. Кроме торгового комплекса, ресторана и концертно-театрального зала в него входят глубокие подвалы-холодильники, офисный центр. В 1910-х годах здесь работали счетоводные и коммерческие курсы, ломбард, акционерное общество "Борьба с огнём", магазины женского белья, военной одежды, оптики, аптекарской посуды, ресторан Фёдорова.
С 1904 года в театральном зале работал театр "Невский фарс", затем театр В. Лина, "Современный театр".
В 1930-х годах в торговом зале появилась большая люстра. Она была необходима для освещения механических кассовых аппаратов. Вскоре об этой люстре стали складываться легенды. Якобы Елисеев перед своим отъездом из России в 1917 году переплавил всё своё богатство в золото, из которого и был отлит этот светильник.
В 1929 году в театральном зале начал выступать Театр сатиры, который в 1931 году объединился с театром "Комедия". В 1935-1949 и 1955-1968 годах художественным руководителем Театра сатиры и комедии был Николай Павлович Акимов. Здесь состоялись премьеры пьес Евгения Шварца "Тень", "Дракон", "Обыкновенное чудо". Драматург долгое время работал заведующим литературной частью театра.
24 июня 1941 года в витринах гастронома появились первые в Ленинграде плакаты с призывами к защите Родины.
Во время блокады Ленинграда в театральном зале продолжали идти спектакли. В 1944 году театр перевели в здание Пассажа. В 1989 году театру было присвоено имя Н. П. Акимова.
В 1987-1988 годах проходила реставрация торгового зала. В советское время магазин официально называли "Центральный", но горожане продолжали именовать его "Елисеевским".
В 1995 году на фасаде здания установлена мемориальная доска, посвящённая купцам Елисеевым (скульптор Е. К. Дмитриев, архитектор В. П. Кун). В 2002-2003 годах институтом "Спецпроектреставрация" восстанавливался фасад здания. В 2000-х годах Елисеевский магазин был закрыт. Долгое время не мог найтись арендатор, который продолжил бы вести в нём торговлю продуктами. Другой профиль этого торгового центра запрещён правительством Петербурга. В 2011 году нашёлся инвестор, который решился на реставрацию помещения магазина и организацию в нём торговли элитными продуктами.
