Первое упоминание о доме №48 на Английской набережной датируется 1713 годом, когда бывший поп Гаврила Петров продал пустующий участок на берегу Невы писарю Фёдору Слащёву. Писарю найти средства для строительства дома не удалось, в следствие чего участок был продан сначала некоему "секретарю Шаховскому", а затем отставному гардемарину Сергею Николаевичу Иванову. В 1730-х годах им здесь был выстроен двухэтажный жилой дом в шесть окон по фасаду.
В 1763 году наследница морского офицера Марфа Васильевна Измайлова продала дом купцу Корнелию Крампу. Во владении семьи Крампа особняк в 16 покоев оставался до конца XVIII века и значительно не перестраивался. В начале XIX века участок с особняком принадлежал князю Михаилу Михайловичу Голицыну.
В 1830-х годах участок приобрёл приятель А. С. Пушкина, ротмистр Кавалергардского полка, обер-егермейстер граф Павел Карлович Ферзен. Для него особняк на набережной был перестроен. В разных источниках авторами проекта переустройства особняка указываются разные архитекторы - Г. А. Боссе и П. С. Садовников. Вместе с тем, перестройка в 1848 году дворового корпуса везде отмечается как работа Боссе. В то время дом на набережной оставался двухэтажным, с высоким крыльцом. Со стороны Галерной улицы одноэтажный корпус был надстроен ещё одним этажом.
Продать участок Ферзену пришлось из-за непреднамеренного убийства им своего подчинённого Владимира Яковлевича Скарятина. Во время охоты Ферзен случайно выстрелил ему в спину. Граф был также известен своей тайной женитьбой на баронессе Ольге Павловне Строгановой. Вероятно, именно эта стория с побегом девушки и свадьбой без благословения родителей впоследствии послужила поводом для написания Пушкиным повести "Метель".
Продажа особняка Ферзеном состоялась летом 1875 года. За 100 000 рублей его приобрела балерина Екатерина Гавриловна Числова, известная своей близостью с великим князем Николаем Николаевичем. Совсем скоро она перебралась ближе к дворцу своего покровителя, продав в 1876 году дом князю Александру Илларионовичу Васильчикову.
К моменту приобретения дома на набережной Васильчиков был уже пожилым человеком. А в своё время он был секундантом Лермонтова на дуэли с Мартыновым. Для Васильчикова особняк на Английской набережной перестраивался по проекту Василия Александровича Кеннеля. Редактор журнала "Русская старина" так описывает особняк:
В 1881 году Александр Илларионович умер. Его сын Борис вел чрезвычайно расточительный образ жизни, в результате чего в 1885 году участок оказался проданым богатому банкиру Алексею Яковлевичу Прозорову. Для нового хозяина особняк был перестроен архитектором Владиславом Михайловичем Карловичем. Банкир обосновался здесь со своей женой Антониной Николаевной и четырьмя детьми. Для Прозорова дом был надстроен третим этажом и приобрёл существующий сейчас облик. Семья заняла все три этажа. В подвале располагался винный погреб, а в дворовых помещениях - контора фирмы Прозорова. В 1910-х годах корпус по Галерной улице стал четырёхэтажным.
Семейная жизнь банкира сложилась неудачно. С женой он развёлся, а дети усердно тратили деньги. В 1916 году дом был продан банкиру Леону Моисеевичу Вургафту. Архитектором М. М. Синявером готовилась перестройка большей части жилого комплекса в стиле модерн. Но революционные события 1917 года помешали этим планам.
После 1917 года особняк был национализирован. Его помещения приспособили под коммунальные квартиры. Интерьеры были утрачены. К настоящему времени кое-где ещё осталась лепнина потолков, отделка стен панелями красного дерева, мраморные подоконники, бронзовая фурнитура окон. В 1988 году особняк был перекрашен. До того он был тёмно-бордовым, а стал жёлтым.
