Участок дома №34 на Английской набережной в начале XVIII являлся двумя отдельными владениями.
В его левой части располагался особняк кабинет-министра Артемия Петровича Волынского. По обвинению в заговоре он был казнён 27 июня 1740 года. В начале 1741 года вышел указ о конфискации дома на набережной в пользу сенатора Стрешнева. Однако впоследствии, участок перешёл дочери Волынского Марье и был записан на её мужа - Ивана Илларионовича Воронцова. Он расстался с домом в 1781 году.
В 1858 году особняком завладела княгиня Репнина. Для неё интерьеры изменялись архитектором Николаем Павловичем Гребёнкой. В 1870 году дом был полностью перестроен по проекту Фердинанда Логиновича Миллера (Мюллера) для новой хозяйки - Луизы Николаевны Долгоруковой. С 1876 года особняк принадлежал Надежде Семёновне Вонлярлярской, для которой его перестраивал архитектор Евгений Александрович Сабанеев.
Владельцами правого участка в разное время были "девица Нарышкина", князь Пётр Андреевич Щербин, Михаил Петрович Галицын, княгиня Варвара Александровна Шаховская. В 1842 году в доме Шаховских целый этаж занимала семья американского инженера Джорджа Уистлера, внесшего значительный вклад в развитие железных дорог в России.
В 1883 году оба особняка, вместе с домом №28, приобрёл Павел Григорьевич фон Дервиз. После его смерти дом №34 по наследству перешёл его младшему сыну Сергею. В 1885 году Сергей Павлович фон Дервиз заказал перестройку обоих особняков архитектору Петру Павловичу Шрейберу. Была проведена коренная реконструкция двухэтажных зданий, которые стали объединены одним общим фасадом. Были заново оформлены все интерьеры. После завершения ремонта один из домов на участке, выходящих на Галерную улицу, был отдан для музыкальных концертов и представлений (Галерная ул, 33).
В 1900 году П. П. Шрейбер и гражданский инженер Михаил Николаевич Кондратьев надстроили на главном корпусе третий этаж.
В 1908 году фон Дервизы продали участок. Левую половину особняка заняла графиня Елена Владимировна Игнатьева. Правую - шталмейстер Николай Николаевич Шебеко. Для них переделками интерьеров занимались Л. Л. Фуфаевский и А. К. Максимов соответственно. В этот период дом на набережной был надстроен четвёртым этажом.
После 1917 года в особняке работали комитет РСДРП (в доме Шебеко), районный фабрично-заводской комитет и Союз металлистов (в доме Игнатьевых).
В настоящее время дом занимают поликлиники.
