Участок дома №54 по Большой Морской улице (№99 по Мойке) впервые начал застраиваться в 1759 году. Тогда им владел архитектор Андрей Васильевич Квасов - старший брат известного петербургского зодчего Алексея Квасова, который жил в доме №3 на Большой Морской. Дом Андрея Квасова был двухэтажным на высоких подвалах, шириной в девять окон. Архитектор работал на А. Г. Разумовского, много времени проводил за пределами Петербурга. Своё жилище он сдавал внаём.
В 1776 году этот участок приобрёл владелец "железных заводов" Иван Родионович Баташов. В 1790 году в его доме останавливался один из русских просветителей Фёдор Васильевич Каржавин. В 1795 году у Баташова участок выкупил купец 1-й гильдии Гаврила Осипович Москвин, имевший лавки в Большом и Малом Гостиных дворах. Позже он стал почётным гражданином. Купец, его жена и дети владели этой территорией более 40 лет.
Дом Москвиных в конце 1830-х - начале 1840-х годов приобрёл коллежский секретарь А. Г. Жомини. В 1841 году для него архитектором П. И. Таманским была произведена перестройка особняка. Его объём был увеличен за счёт пристройки на месте въездных ворот, за счёт надстроенного этажа. Фасад был отделан в стиле ранней эклектики. Следующие строительные работы здесь проводились в 1847 году, когда к дому была проведена водопроводная труба из Мойки. В это время зданием владел генерал-майор Фёдор Фёдорович Беггер. Формально он был оформлен на супругу генерала Юлию Ермолаевну.
В 1859 году особняком распоряжался двоюродный дядя М. Ю. Лермонтова Емельян НИкитич Арсеньев. В 1871 году дом №54 приобрела супруга купца 1-й гильдии Анна Густавовна Клейбер. При ней главный корпус перестраивался по проекту архитектора В. М. Карловича. В 1870-х годах здесь работала Общеобразовательная гимназия К. С. Цынковского. В 1910 годах - бронзовая и портретная мастерская. А. Г. Клейбер владела особняком до 1917 года.
