Первое каменное здание на участке дома №7 по Большой Конюшенной улице было построено в XVIII веке. В то время оно имело два этажа. С конца XVIII столетия и до середины XIX века им владел купец Жадимировский и его наследники. Затем участком владела семья Демидовых.
В 1823 году особняк был перестроен по проекту архитектора И. Г. Гомзина, который тогда принимал участие в завершении строительства Адмиралтейства. Зодчий надстроил дом третьим этажом и придал ему черты стиля классицизм. Противоположная сторона участка выходит на набережную реки Мойки. В 1849 году находящееся там здание (дом №16) для жены гвардии полковника Н. Е. Демидовой надстроил архитектор Е. И. Диммерт.
Последней частной владелицей участка была С. М. Демидова (в замужестве Олсуфьева, затем Волконская). При ней в доме со стороны Большой Конюшенной улицы работали лавка картин, эстампов и гравюр С. Г. Петерсона, офис фирмы "Виндельбанд Б. А.", молочный магазин "Муромицы".
Одним из обитателей дома №16 по набережной реки Мойки являлся вице-президент Русского театрального общества А. Е. Молчанов. Его супругой была знаменитая актриса Мария Гавриловна Савина. Вместе с ней Молчанов организовал "Убежище для престарелых артистов", ныне известное как Дом ветеранов сцены.
В советское время первый этаж особняка занимала булочная-кондитерская.