Первым владельцем этого участка Английской набережной был Гавриил Иванович Головкин, после которого находящимся здесь домом владели его вдова Екатерина Алексеевна, а затем и сын Алексей Гавриилович.
В 1789 году дом приобрёл английский купец Фома Васильевич Вар, которому в то время принадлежал и соседний дом №44.
После последующих перепродаж дом в 1846 году перешёл во владение коллежского советника Ивана Демьяновича Булычёва. Новый хозяин активно взялся за перестройку особняка, благоустройство участка в целом. Новый дом появился и со стороны Галерной улицы. Всеми строительными работами руководил архитектор Д. Е. Ефимов.
В ноябре 1867 года жена хозяина дома Надежда Александровна взяла ссуду на 25 лет под залог дома на набережной. Таковая была ей предоставлена. В 1871 году на эти деньги переделывался фасад особняка. В 1874 году из-за неуплаты взноса по ссуде дом был продан.
Новой владелицей особняка стала фаворитка императора Александра II Екатерина Михайловна Долгорукова. К этому времени у неё уже были сын и дочь от царя. В 1875 году княгиня Долгорукова полностью расплатилась с доставшимся ей от прежних владельцев долгом.
После смерти императрицы Марии Александровны Александр II официально обвенчался с княгиней. Она стала жить в Зимнем дворце. Дом на набережной Долгорукова продала своей сестре Марии Михайловне Берг. Мария Михайловна заняла покои второго этажа, остальные стала сдавать в наём.
В 1898 году дом приобрела Агнесса Германовна Юнкер. При неё фасад здания был изменён по проекту гражданского инженера Александра Ивановича Клейна. Эти строительные работы проводились с мая по ноябрь 1911 года.
Уже под конец переделки здания у него появился очередной владелец - кандидат экономических наук С. Б. Кафталь. Он владел участком до 1917 года.
В советское время парадные залы особняка утратили своё оформление. Так, дубовая лестница была выкрашена толстым слоем масляной краски. Пожар 1992 года принёс значительные разрушения.
Восстановление особняка началось в 1996 году. К этому времени его владельцем была фирма "Локосфинкс". При этой реконструкции на месте двора был организован атриум. В настоящее время продолжаются ремонтные работы. Отреставрированные залы первого этажа и атриум сдаются в аренду. Второй этаж принадлежит частному лицу. В остальных помещениях размещается гостиница.
