В 1717 году владельцем этого участка на Английской набережной числится чиновник Карл Естихеев. В 1719 году здесь строит палаты (вероятно мазанковые) новый хозяин, чиновник Лукьян Остафович Сытин.
К 1730-м годам участком стала владеть Анна Яковлевна Шереметева, урождённая княжна Долгорукова. В браке с Алексеем Петровичем Шереметевым детей она не имела. При ней здесь в 1736-1738 годах был построен типовой каменный жилой дом с мезонином и высоким крыльцом.
После смерти Анны Яковлевны в 1746 году участок перешёл её племяннику князю Александру Алексеевичу Долгорукому и его двоюродной сестре Марии Александровне. Земля была поделена поровну. Однако, согласно документам, часть дома князя делилась ещё и между его братьями. Чтобы избежать дробления этого владения в 1762 году был издан указ Екатерины II о передаче всего участка Александру Алексеевичу как старшему наследнику.
В 1785 году князь продал владение английскому купцу Якову Мейбому. В 1790 году купец перепродал участок за 20 000 рублей камергеру Михаилу Андреевичу Голицыну, только что вернувшемуся из образовательной поездки по Европе. Камергер являлся сыном Андрея Михайловича Голицына и Елизаветы Борисовны, урождённой Юсуповой. Михаил Андреевич был женат на Прасковье Андреевне Шуваловой.
После смерти Голицына в 1816 году его вдова и наследники продали дом московскому купцу Михаилу Карловичу Веберу, владельцу ситцевой фабрики в Шлиссельбурге. В 1820-м году владельцем особняка стал генерал-адьютант Василий Васильевич Левашов, прославившийся чрезвычайно жестоким характером. В 1831 году после назначения губернатором в один из провинциальных городов он продал дом Екатерине Петровне Зиновьевой, вдове тайного советника. С октября 1835 по апрель 1837 года года в особняке Зиновьевой жил богатейший горнозаводчик Всеволод Андреевич Всеволожский, здесь же и скончавшийся. В конце 1837 года годах за 300 000 рублей особняк приобрела семья Стенбок-Ферморов.
Дом на берегу Невы купил Александр Николаевич Стенбок-Фермор. Для него имевшееся здесь здание было перестроено и именно тогда фасад со стороны набережной получил современный облик (архитектор неизвестен). После смерти Александра Николаевича дом перешёл его вдове Надежде Алексеевне, а затем их сыну шталмейстеру, генерал-лейтенанту Алексею Александровичу. В особняке устраивались балы, музыкальные вечера. Их участниками были ближайшие родственники хозяев дома - князья Гагарины, Барятинские, Толстые.
В 1859-1862 годах особняк Стенбок-Ферморов снимал прусский посланник Отто Эдуард Леопольод фон Бисмарк. Первое время он жил в "Демутовом трактире" на Мойке. Но там был "обязательный утренний самовар, чай в стакане и сомнительное масло", из-за чего будущий канцлер Германской империи стал искать новое жильё. Таковое он и нашёл на Английской набережной, пусть оно и стоило дорого - 7 000 рублей в год. После переезда сюда Бисмарк занялся устройством своего быта. Его жена прислала из Франкфурта модную в то время французскую резную мебель орехового дерева. Несмотря на богатство дома, Бисмарк всё же чаще работал в Пруссии. В Петербурге он находился лишь несколько месяцев в году. Но в письмах к русским друзьям он писал, что скучает по дому на набережной. В конце апреля 1862 года Бисмарк был отозван из России и направлен послом в Париж.
В 1862 году Алексей Александрович уступил особняк своей малолетней дочери Надежде за 60 000 рублей. Спустя 20 лет она вышла замуж за дипломата Петра Алексеевича Капниста. Будучи в Петербурге они жили в доме со стороны Галерной улицы. В особняке на набережной продолжал жить Алексей Александрович Стенбок-Фермор. При Надежде Алексеевне на участке были произведены перестройки по проекту архитектора Владимира Петровича Цейдлера. Во дворе им был построен трёхэтажный флигель, обновлён фасад дома по Галерной улице.
В 1870-1876 годах особняк занимало посольство Австро-Венгрии. Для него в интерьерах были осуществлены переделки.
В 1902 году Цейдлером корпус по Галерной улице был надстроен третим этажом. В 1905 году Владимиром Алексеевичем Теремовским были перестроены дворовые флигели, изменены интерьеры особняка.
С 1870-х годов до настоящего времени сохранились некоторые детали интерьеров особняка. Перегородки в комнатах не доходят до потолка и открывают сохранившиеся карнизы и отделку потолков. Сохранился паркет из ценных пород дерева. В одном из залов левого корпуса остались расписные падуги и медальоны. Вход на двухмаршевую парадную лестницу открыт только со стороны двора.
