В середине XVIII века участок на котором находится Малый Мраморный дворец был занят прачечными императорского двора и домами дворцовых служителей. В 1770-х годах территория принадлежала князю С. Трубецкому. В конце XVIII века купцом Д. Образцовым здесь был построен двухэтажный каменный дом.
В 1830-1840-х годах участок с домом перешёл к графу Александру Григорьевичу Кушелеву-Безбородко. В 1855 году - его сыну Николаю Александровичу, штаб-ротмистру Кавалергардского полка, известному коллекционеру предметов искусства.
В 1857-1862 годах по заказу Н. А. Кушелева-Безбородко архитектором Э. А. Шмидтом дом был перестроен. Об этом событии гласит сохранившаяся высеченная на цоколе здания надпись. Общая стоимость особняка составила 556 194 рубля. Малый Мраморный дворец стал вторым в Санкт-Петербурге после Мраморного дворца особняком, чей фасад был облицован мрамором. Поэтому особняк и получил такое название. Для облицовки фасада использовался тивдийский мрамор.
Особым украшением Малого Мраморного дворца стала Парадная лестница в стиле Людовика XIV. Первоначально напротив каждого из пяти арочных окон на противоположной стене были установлены пять больших зеркал. На втором этаже располагались Танцевальный (Белый) и Золотой залы в стиле Людовика XIV. Двусветный Танцевальный зал был украшен плафоном "Смерь похищает Поэта". Паркет здесь был инкрустирован перламутром. К Белому залу примыкал Кабинет - копия кабинета Карла V в Брюгге. В нём хранилась коллекция рыцарского оружия и доспехов. Рядом с Кабинетом - Бильярдная, освещение которой осуществлялось через стеклянный витраж на потолке.
Анфилада комнат второго этажа вдоль Гагаринской улицы за Золотым залом продолжалась Гостиной в стиле Людовика XV. Рядом с Гостиной - Дамский кабинет в стиле Людовика XVI.
Дворовые флигели с главным корпусом соединяли Галерея и Турецкая (Курительная) комната. В дворовых флигелях находились другие парадные залы, Зимний сад с фонтаном и бассеином, а за ним - Пименовская галерея, в которой были выставлены скульптурные барельефы С. С. Пименова "Воскресение" и "Преображение Господне". К Пименовской галерее примыкала Елизаветинская зала в стиле барокко. Южнее Елизаветинской залы - Библиотека, за ней Театральный флигель.
На территории усадьбы был разбит сад с фонтанами.
18 октября 1873 года дом был куплен для великого князя Николая Константиновича (старшего сына великого князя Константина Николаевича). С той поры особняк и стали называть Малым Мраморным дворцом.
Николай Константинович считался одним из самых красивых русских великий князей. Писатель Д. В. Григорович вспоминал, что "... когда он был юношей и жил в Мраморном дворце, к нему водили девок по целым десяткам". Имела знакомство с ним и известная авантюриста того времени Фанни Лир. Она описала Малый Мраморный дворец так:
После того как великий князь Николай Константинович был уличён в краже ценностей его некоторое время держали под арестом в собственном дворце. 11 декабря 1874 года Александр II подписал указ "о болезненном состоянии здоровья" великого князя. Вскоре его выслали из Санкт-Петербурга.
После гибели Александра II Малый Мраморный дворец было решено передать морганатической супруге погибшего императора княгине Екатерине Михайловне Долгорукой (Юрьевской). Александр III, исполняя волю отца, купил для неё этот особняк за 600 000 рублей. Ранее эту же сумму за Малый Мраморный дворец предлагало французское посольство.
Княгиня Юрьевская вместе с детьми переехала в Малый Мраморный дворец летом 1881 года. Перестроек она не устраивала, но изменила назначение некоторых помещений, поменяла предметы обстановки. На третьем этаже появились детские комнаты и служебные помещения для воспитателей. В Пименовской галерее разместилась церковь с иконостасом, воспроизводящим походный иконостас Александра II.
На втором этаже Мраморного дворца княгиня устроила открытый для широкой публики музей памяти Александра II. В двух комнатах (Опочивальне и Кабинете) хранились личные вещи погибшего императора, связанные с его жизнью картины, фотографии, иконы. На Парадной лестнице стояло чучело медведя с надписью: "Лисино. Убит Его Императорским Величеством близ Лисинского учебного лесничества 22 января 1875 года".
В 1913 году княгиня Юрьевская навсегда уехала из России. Уже находясь за границей она продала Малый Мраморный дворец дочери камерюнкера Высочайшего двора Е. П. Леонард "за 1 200 000 рублей наличными со всей обстановкой, кроме предметов, связанных с памятью императора Александра II". Эти предметы были вывезены в Париж, а затем в Ниццу.
Для новой владелицы Малый Мраморный дворец перестраивал гражданский инженер Н. Н. Игнатьев. На месте Театра, Оранжереи и Сада появился шестиэтажный дом с тремя флигелями.
В 1930-х годах Малый Мраморный дворец был занят научно-исследовательским институтом охраны труда. В это время пристройки, где размещались Зимний сад и Пименовская галерея, были надстроены до трёх этажей. В 1970 году Малый Мраморный дворец был взят под охрану как памятник архитектуры.
В настоящее время в Малом Мраморном дворце располагается Европейский университет.
