После пожаров в Морской слободе в 1736 году участок дома №29 по Большой Морской улице получил бухгалтер Адмиралтейств-коллегии Обухов. В пожаре сгорело его два двора, взамен которых он получил разрешение на строительство двух новых зданий. Одно из них он построил на этом месте не раньше конца 1740-х годов. В 1784 году им распоряжался капитан Иван Михайлович Обухов.
Дочь И. М. Обухова Анна в 1792 году продала участок Якову Ивановичу Булгакову, бывшему чрезвычайному посланнику в Турции, при участии которого к России был присоединён Крым. С 1801 года дом №29 принадлежал тайному советнику Василию Николаевичу Зиновьеву. Он был президентом Медицинской коллегии. Его сестра Екатерина Николаевна была замужем за фаворитом Екатерины II Г. Г. Орловым.
Следующим владельцем участка стал генерал от инфантерии Николай Сергеевич Свечин, владевший им в 1809 году. В 1820-1821 годах территорией распоряжался барон Александр Александрович Раль. Одна из дочерей Раля была замужем за архитектором А. П. Брюлловым, другая - за за генералом Ф. Ф. Шубертом, автором плана Санкт-Петербурга 1828 года. Внучка дочери Раля и Шуберта - первая русская женщина-математик Софья Ковалевская.
В первой трети XIX века центральную часть фасада трёхэтажного здания украшал четырёхколонный портик, объединявший второй и третий этажи. Между расположенными попарно колоннами на втором этаже находился балкон. Слева от здания находились ворота, ведущие во двор с двух- и трёхэтажными флигелями.
С 1822 года особняк принадлежал графине Марии Григорьевне Разумовской, вдове Льва Кирилловича Разумовского. 26 января 1837 года на балу у Разумовской был А. С. Пушкин. Здесь он искал секунданта для дуэли с Дантесом, просил им быть секретаря английского посольства Артура Меджниса. Однако убедившись что примирение с Дантесом невозможно, Меджнис отказался от предложения Пушкина.
В 1839 году А. П. Брюллов надстроил боковые части лицевого фасада, увеличив высоту окон третьего этажа.
В 1840-1850-х годах особняк был в руках князя Павла Александровича Урусова. В 1848-1850 годах по проекту В. В. фон Витта (по другим сведениям, Р. Б. Бернгарда) здание было перестроено: его объём был расширен за счёт ворот, фасад стал отделан в стиле "второго барокко". В интерьерах использовались стили классицизм и готика. К 1862 году зданием владел Фёдор Рюмин.
Очередными владельцами участка в 1870-х годах стал мануфактур-советник, потомственный почётный гражданин Валентин Игнатьевич Сазиков. Он принадлежал третьему поколению семьи известных ювелиров, поставщиков императорского двора. Они участвовали в изготовлении утвари для Исаакиевского собора, сотрудничали со скульпторами Клодтом и Витали. Здесь находился их магазин. В 1871-1873 годах по проекту архитектора Н. В. Набокова здание было надстроено четвёртым этажом с фигурным фронтоном. В 1877 году участок перешёл в руки вдовы Евдокии Павловны и сына от первого брака купца 1-й гильдии Павла Валентиновича. Евдокия Павловна во втором браке была замужем за генералом Масловым, много занималась благотворительностью.
Фирма Сазиковых прекратила своё существование в 1886-1887 годах. Магазин стал принадлежать Хлебниковым, а затем его бывшему заведующему Н. М. Рахманову. Позже, до реквизиции в 1918 году, им владела московская фирма Овчинниковых. Само здание в 1900-х годах было за вдовой Масловой, его управляющим был П. В. Сазиков.
В 1918 году дом перешёл из частного владения в государственное. В 1970-х годах из-за ветхости здание было полностью разобрано и воссоздано из современных материалов.
