Первая застройка участка дома №50 по Английской набережной была произведена в начале XVIII века для Анны Яковлевны Шереметевой, урождённой княжны Долгоруковой, дочери боярина и сенатора Якова Фёдоровича Долгорукова. От своего супруга Алексея Петровича она детей не имела. Поэтому после смерти Анны Яковлевны в 1746 году участок перешёл к её племяннику князю Александру Алексеевичу Долгорукову и двоюродной сестре его Марье Александровне. Он был поделен между ними поровну. Согласно документам, половина князя должна была делиться ещё раз, для братьев полковника Фёдора Алексеевича и камергера Михаила Алексеевича. От половины дома Марьи Алексеевны также отделялась часть в пользу Михаила.
Чтобы избежать ещё более мелкого дробления собственности императрица Екатерина II передала всё владение старшему брату Александру. В 1785 году он продал участок английскому купцу Якобу Мейбому. Спустя пять лет тот продал его за 20 000 рублей камергеру Михаилу Андреевичу Голицыну.
В начале XIX особняк перешёл во владение генерал-адъютанта Василия Васильевича Левашова. Позже им владел Н. В. Всеволожский, от которого в 1830-х годах участок достался Александру Николаевичу Стенбок-Фермору. Для нового владельца особняк был перестроен, тогда он получил существующий сейчас облик. После смерти Александра Николаевича дом достался его сыну Алексею. Как и в других особняках богатых людей здесь часто устраивались балы, музыкальные вечера, приёмы. Непременными гостями на них были князья Гагарины, Барятинские, Толстые.
В 1859-1862 годах особняк снимал прусский посланник князь Отто фон Бисмарк, в будущем канцлер Германской империи. Первое время он обитал в гостинице Демута на Мойке, но князю не нравились грязь и неудобства. Дом Стенбок-Ферморов, судя по письмам Бисмарка жене, ему чрезвычайно нравился. При полной меблировке аренда особняка стоила 7 000 рублей в год - весьма дорого. Но Бисмарка цена не пугала. Он жил в роскошной обстановке. Жена присылала из Франкфурта мебель орехового дерева, резную, старофранцузскую, модную в то время в Петербурге. На Бисмарка здесь работало огромное число слуг. По служебным делам князь часто был на родине. В Петербурге он обитал только несколько месяцев в году.
После смерти Александра Александровича Стенбок-Фермора в конце XIX века участок по наследству перешёл к его дочери Надежде, вышедшей замуж за одного из потомков В. В. Капниста. При них особняк был значительно переделан архитектором В. П. Цейдлером. Он же возвёл во дворе трёхэтажный флигель, обновил фасад дома со стороны Галерной улицы. В 1905 году дворовые флигели были перестроены техником В. А. Теремовским. Тогда же изменились интерьеры в особняке.
В настоящее время сохраняется интерьер ряда комнат второго этажа. Один из парадных залов превращён в квартиру, где остаётся плафон, выполненный предположительно Б. Медичи. Сохранился здесь и наборный паркет. Интересен также один зал в левом корпусе.
