Участки домов №48 и 50 по Большой Морской улице в 1740-х годах представляли собой единое владение. Здесь стоял большой особняк, шириной в 21 окно, высотой в один этаж на высоких подвалах. Центральная часть в три окна была выше на один этаж. Её фланкировали два полукруглых фронтона на боковых крыльях. Участок принадлежал вдове комнатного стольника Ивана Ивановича Нарышкина Настасье.
Левая часть владения в 1754 году была унаследована Александром Ивановичем Нарышкиным, который в 1762 году сопровождал императора Петра III в день переворота. В 1756 году здесь проводил лотереи немец Георг Фридрих Боль. В 1774 году в доме Нарышкина работало женское училище. В следующем году участок был продан купцу Францу фон Зантену.
К 1781 году территорией распоряжался генерал действительный камергер Александр Николаевич Зиновьев, брат которого в начале XIX века владел домом №29 по Большой Морской. Вслед за Александром Николаевичем домом №48 распоряжалась его жена Авдотья Александровна (урождённая Долгорукая). К концу XVIII века здесь стояло уже двухэтажное строение, двор при котором был отделён от набережной Мойки невысокой оградой. В 1802 году в доме Зиновьева жил хирург Артод, лечивший болезни ног. В 1808 году здесь обитал баварский посланник де Брэ.
В 1810-х годах участок был в руках одного из правнуков канцлера Гавриила Ивановича Головкина - графа Петра Гавриловича и его супруги Софьи Александровны. Она была дочерью А. Г. Демидова, владельца усадьбы в Демидовом переулке и заводов на Урале. В 1821 году после смерти Петра Гавриловича дом унаследована его вдова, а на следующий год его заполучил действительный тайный советник, сенатор князь Иван Алексеевич Гагарин. Князь состоял в гражданском браке с актрисой Екатериной Семёновой. У них были сын и три дочери, но актриса ради сцены долго не соглашалась на официальный брак. Он был оформлен только в 1828 году, после переезда в Москву. В Петербурге Семёнова жила в другом доме Гагарина (Миллионная ул. 32). При Иване Алексеевиче особняк на Большой Морской был надстроен ещё одним этажом. Во дворе был построен полуциркульный двухэтажный флигель.
Князь Гагарин в 1825 году передал дом №48 своему сыну от первого брака Павлу Ивановичу Гагарину, служившему в Коллегии иностранных дел. Тогда же здесь поселился граф Михаил Юрьевич Виельгорский. 28 марта 1828 года у него обедали Пушкин, Жуковский, Вяземский и Грибоедов.
В начале 1830-х годов в этом доме поселилась семья Олениных: Алексей Николаевич Оленин (директор Публичной библиотеки, президент Академии художеств, член Государственного совета), его супруга Елизавета Марковна и их младшая дочь Анна. В 1833 году хозяйкой дома числилась "фрейлина Оленина". Семью часто посещали Жуковский, Вяземский и другие литераторы, музыканты и художники. С 1839 года здесь бывал М. Ю. Лермонтов. Анна Алексеевна в 1840 году вышла замуж за полковника Фёдора Александровича Андро, под фамилией которого она числилась владелицей особняка спустя три года. Тогда же умер её отец.
Очередным владельцем дома в 1850-х годах стал сын министра просвещения Алексей Сергеевич Уваров, известный как историк и археолог, основатель и первый председатель Московского археологического общества. В 1859 году он женился на Прасковье Сергеевне Щербатовой, которая после смерти супруга возглавила Археологическое общество. Она стала второй женщиной после Е. Р. Воронцовой-Дашковой, состоявшей почётным членом Российской академии. Уваровы принимали участие в создании Исторического музея в Москве. В 1858 году здесь несколько месяцев жил Тарас Григорьевич Шевченко.
Алексей Сергеевич прокладывал чугунную трубу для провода в дом чистой воды из Мойки. При нём перестраивалось главное здание на участке. Архитектором А. В. Петцольдом для него был составлен проект двухэтажного на подвалах дома, похожего на русский терем. В объяснении к проекту зодчий писал:
Ответом императора было:
Заказчик и архитектор не смогли выразить свои вкусы на фасаде, но сполна это сделали в интерьерах дома. Отделка лестницы сохранилась до сих пор, вместе с большими зеркалами на площадке второго этажа.
В 1860-1870-х годах домом №48 распоряжался купец 2-й гильдии Александр Леонтьевич Цургозен. Он владел также двумя домами на Выборгской стороне (не сохранились), в начале 1850-х годов ему принадлежал дом №34 на Большой Морской улице. Александр Леонтьевич проиграл на Бирже всё своё состояние и скоропостижно скончался в 1874 году.
Существующий сейчас облик здание приобрело в 1878-1880-х годах при перестройке по проекту архитекторов Н. В. Трусова и Н. А. Гаккеля. Заказчиком выступил действительный статский советник Василий Алексеевич Грейг, внук и сын знаменитых адмиралов Грейгов. В. А. Грейг был членом Совета министров, управлял Лифляндской и Петербургской казёнными палатами. Для него дом был надстроен двумя этажами.
Следующим хозяином участка в 1895 году стал генерал-майор Алексей Николаевич Чикалёв. Спустя два года им завладел действительный тайный советник Владимир Михайлович Маркус, при котором лицевой фасад претерпел незначительные изменения. В 1903 году здание принадлежало его вдове Александре Александровне. В 1906-1908 годах в доме №48 жил предприниматель и банкир Сергей Степанович Хрулёв. В 1910 году здесь было разрешено оборудовать лифт. В 1912 году помещения в доме занимало баварское консульство, при котором жил полномочный министр барон де Грунемус.
С 1913 года дом был во владении у купца 1-й гильдии Павла Яковлевича Хесина. Он жил здесь, состоял членом Совета Азовско-Донского коммерческого банка, работавшего в доме №3-5.
