Первым известным владельцем участка дома №3 по Моховой улице является штаб-квартирмейстер М. И. Марков. При нём здесь находились деревянные строения с садом. Марков владел этим участком с 1730-х по 1759 год, после чего участок был продан служащим в Семёновском полку братьям Илье и Петру Вихляевым. Новые владельцы сдавали здесь жильё внаём, но, по всей видимости, дохода это им не приносило. Дом братьями был заложен, из залога его выкупил М. Б. Манучаров - один из четырёх братьев, занимавшихся в Петербурге торговлей драгоценностями.
При Манучарове в 1780-х годах здесь был выстроен двухэтажный каменный дом. Нижний этаж занимали комнаты прислуги и винный погреб, верхний этаж - жилые покои хозяина. Во дворе располагались служебные постройки и сад, простиравшийся до Гагаринской улицы.
Следующим владельцем дома №3 по Моховой улице был сенатор И. Г. Резанов (его отец ранее владел участком дома №5). Его сын Дмитрий, поручик лейб-гвардии Преображенского полка, в 1788 году продал участок вдове генерала С. М. Черноевича Елизавете Аристарховне, чья дочь Анна Семёновна вышла замуж за писателя и дипломата И. М. Муравьёва-Апостола. Трое их сыновей впоследствии стали декабристами. Анна Семёновна бывала здесь в гостях у своей матери, владевшей участком до конца 1790-х годов.
В первой трети XIX столетия хозяинами участка были жена надворного советника П. П. Кандалинцева и её сын Николай, которые с 1800 года владели и соседним домом №5. К 1830-м годам дом был надстроен третьим этажом, справа существовала высокая пристройка с воротами. При владении домом тайным советником М. М. Устиновым, во дворе в 1851 году архитектором А. Х. Пелем была сооружена беседка для отдыха.
С 1857 года жителем дома Устиновых являлся известный писатель Иван Александрович Гончаров. Здесь им был написан роман "Обрыв" и многие другие произведения. Квартира Гончарова находилась на первом этаже с окнами, выходящими во двор. Гончаров писал в одном из писем о том, как у него "зеленеет двор, как сирень буквально лезет в окна, как дикий виноград гирляндами заслоняет солнце от окон" [Цит. по: 1, с. 18]. В гостях у писателя не раз бывали Д. В. Григорович, А. К. Толстой, А. Ф. Писемский и другие. Современники писателя так описывали его кабинет:
На видном месте в кабинете Ивана Александровича висела посмертная маска Белинского. Часы с бюстом "Марфиньки" из романа "Обрыв" и две вазы появились здесь после чествования писателя в связи с 50-летием его литературной деятельности в 1882 году.
В 1875-1876 годах по инициативе М. М. Устинова дом перестраивался. По проекту архитектора В. А. Шретера был изменён фасад здания, он стал богато оформлен в стиле второго барокко. Оформление фасада стало заметно похожим на находящийся неподалёку особняк Бутурлиной (ул. Чайковского, 10). Ходили слухи, что зодчий преднамеренно выполнил такое подражание, исполнив этим требование заказчика. В 1880-х годах во дворе дома №3 и на соседнем участке со стороны Гагаринской улицы по проекту архитектора В. Д. Никольского построили дворовые флигели. Они загородили Гончарову солнце, из-за чего писатель стал называть свою квартиру "сумеречной".
15 сентября 1891 года в своей квартире умер И. А. Гончаров. Четыре дня здесь собирались люди, почитавшие творчество писателя. Спустя два года на фасаде здания была укреплена памятная доска, выполненная по проекту Н. Л. Бенуа.
В 1920-х годах здесь размещался Производсоюз, в 1930-х - Дом культуры промкооперации. Впоследствии учреждение переехало в новое здание на Каменноостровском проспекте (тогда проспекте Кирова) и стало называться Дворцом культуры им. Ленсовета. Здесь же работал НИИ Академии коммунального хозяйства РСФСР, позже - другие организации. В настоящее время здесь размещается Управление Северо-Западного округа Госгортехнадзора России.
