Участок дома №24 по Миллионной улице в 1740-х годах принадлежал графу Фёдору Андреевичу Апраксину и Алексею Васильевичу Макарову. Первый из них владел также соседним участком дома №22. Второй при Петре I был кабинет-секретарём, затем занимал другие должности.
В начале XIX века участком владел купец Гавриил Таиров, а затем его сын Лука. Тогда, а также в 1836-1837 году, находящийся здесь особняк перестраивался. Во втором случае это происходило по проекту архитектора А. М. Камуцци. К 1849 году хозяином участка был купец Егор Дмитриевич Славный. При нём корпуса со стороны Миллионной улицы и Мойки имели по четыре этажа. В 1860-х годах домом владела Елизавета Ивановна Славная, которая жила в квартире №15.
В 1911 году владелец соседнего дома №22 С. С. Абамелек-Лазарев выкупил и дом №24. Для нового хозяина он был перестроен в 1913-1915 годах. Дом был дополнен въездными воротами, в нём провели перепланировку. Здание со стороны Мойки (№23) также было построено к 1915 году. Его строительством занимался архитектор И. А. Фомин. Парапет особняка украшали вазы, которые вскоре исчезли. На их установке настоял заказчик, тогда как архитектор был против, считая эти вазы чужеродными предметами для строго рассчитанного декора здания.
При отделке интерьеров Фомин использовал отечественный природный мрамор, его искусственные аналоги. Большую роль в оформлении помещений сыграли декоративная скульптура, богатая роспись потолков и стен. Особой роскошью выделялись два двусветных зала - Столовая и Домашний театр. Их пол был выстлан высококачественным наборным паркетом из ценных пород дерева. Театральный зал украсило живописное панно "Аполлон на квадриге" художника И. А. Боданинского.
Супруга князя Мария Павловна (в девичестве Демидова) устроила в доме на Мойке своеобразный культурный центр Петербурга. Здесь устраивались вечера классического балета, концерты, встречи с русскими и зарубежными артистами, писателями, музыкантами, композиторами и художниками. Мария Павловна была талантливой балериной. С учётом её увлечений помещения особняка были оборудованы люстрами из венецианского стекла, колоннами из редких пород мрамора, уникальными картинами и скульптурой.
После смерти в 1916 году С. С. Абамелек-Лазарева и до 1917 года участком владели его наследники.
