Первое строение на участке дома №24/1 по набережной Кутузова появилось в 1775 году. Построил его на трёх пустовавших участках барон Иван Иванович Меллер-Закомельский. Строил дом барон для собственного проживания. Но получив поручение о заведовании Ладожским каналом, потребовавшее отъезд из Санкт-Петербурга, решил сдавать помещения в наём. Одним из самых знаменитых постояльцев дома Меллера был граф Калиостро. В 1785 году здесь поселился врач Нестор Максимович Амбодик, один из основоположников акушерства. Ему принадлежит заслуга введения в практику петербургских докторов применения акушерских щипцов.
После гибели барона Меллера его вдова продала дом. Разместив объявление о продаже в 1793 году, ей удалось совершить сделку только 19 января 1797 года. Покупателем стал сенатор Пётр Васильевич Мятлев. В 1797 году дом перешёл к графу Петру Кирилловичу Разумовскому.
После смерти Разумовского его имущество было распределено между воспитанниками графа, родившимися от внебрачных связей. Своих законных детей у Петра Кирилловича не было. Дом на набережной перешёл к одной из его дочерей, бывшей замужем за полковником конной артиллерии Пистолькорсом. С согласия жены полковник в 1827 году продал дом графу А. Г. Кушелеву-Безбородко.
Для нового владельца особняк был перестроен по проекту В. А. Глинки. Граф желал разместить здесь свой "храм искусств", что и было сделано. В особняке Кушелева-Безбородко разместилась коллекция картин. Картинная галерея была открыта для ограниченного публичного доступа. Вход сюда был открыт по билетам по четвергам с 12 до 14 часов. Кроме картинной галереи дом Кушелева-Безбородко славился своим концертным залом. Для выступающих хозяин предоставлял его бесплатно, чем пользовались многие небогатые артисты.
После смерти графа его имущество досталось сыновьям. Дом на набережной достался старшему - Григорию Александровичу. В 1857 году для него по проекту Р. Р. Генрихсена особняк был перестроен. Архитектор изменил фасады, переделал интерьеры, на месте оранжереи разместил зимний сад. С тех пор дом имеет свой нынешний вид.
После смерти Григория Александровича домом некоторое время владела его сестра Л. А. Мусина-Пушкина. В 1880 году он перешёл к князю Михаилу Сергеевичу Волконскому, сыну декабриста Сергея Григорьевича Волконского. Дом Волконских был одним из самых ярких культурных центров Санкт-Петербурга. Здесь часто ставились домашние спектакли.
В 1892 году особняк был продан купцу Александру Григорьевичу Елисееву. Елисеевым дом принадлежал вплоть до 1917 года.
