Согласно описи 1738 года первым хозяином участком дома №48 на Английской набережной был отставной морской офицер Николай Иванов. Спустя несколько лет участок принадлежал купцу Крампу. В начале XIX века им владел князь Михаил Михайлович Голицын.
В начале XIX века особняк М. М. Голицына сохранял черты типового жилого дома начала прошлого столетия. Он был двухэтажным, с высоким крыльцом и покатой крышей. Участок часто менял владельцев. В 1830-х годах он принадлежал приятелю А. С. Пушкина ротмистру Кавалергардского полка графу Павлу Карловичу Ферзену. Для него особняк перестраивал архитектор Г. Э. Боссе. Тогда же зодчий надстроил одноэтажный флигель по Галерной улице вторым этажом. В доме по невской набережной он полностью переделал фасад и переработал интерьеры.
С Павлом Ферзеном случилось несчастье - на охоте он случайно убил своего подчинённого В. Я. Скарятина. Между ними были сложные отношения, да и вообще у графа была дурная репутация. После долгих судебных разбирательств он был вынужден покинуть Петербург и продать свой особняк.
В 1880 году дом №48 перешёл во владение к князю Александру Илларионовичу Васильчикову. В молодости он был секундантом М. Ю. Лермонтова на дуэли, от неприятностей его спасло заступничество отца. В дальнейшем его карьера складывалась удачно. Приобретя дом на Английской набережной князь решил его перестроить. Для этого он пригласил архитектора В. А. Кеннеля. Редактор журнала "Русская старина" так описывает дом князя:
В своём особняке князь Васильчиков прожил немногим более года. В 1881 году он скончался. Спустя четыре года его сын продал участок Алексею Яковлевичу Прозорову. Для нового владельца особняк был надстроен третьим этажом архитектором В. М. Карловичем. С тех пор он не менял своего облика.
После 1917 года дом №48 был национализирован. Огромные залы и комнаты были перегорожены, в них разместились коммунальные квартиры. Их интерьеры оказались утраченными. Только в некоторых комнатах сохраняются детали былой роскоши - панели красного дерева на стенах, лепнина потолков, мраморные подоконники и бронзовая фурнитура на окнах. В 1988 году дом был перекрашен в жёлтый цвет, до того фасад был тёмно-бордовым.
