В начале XVIII века на этом участке Английской набережной располагалась усадьба с каменным домом, садом, прудом и оранжереей. Владела им княжна Мария Вяземская, при которой здесь жил грузинский царевич. Позже территорией владел купец Риддер, а затем купец Иван Иванович Роговиков.
Дочь Ивана Ивановича Екатерина потеряла право наследования этого участка из-за желания выйти замуж за поручика Алексея Александровича Хлопова. Её отец был категорически против такого брака. Но после смерти отца у Екатерины появился шанс вновь завладеть домом. Улаживание дела о наследстве было поручено Денису Ивановичу Фонвизину, который широко известен как писатель, но состоял так же и на государственной службе. Забота Фонвизина о наследстве была столь активна, что после смерти Хлопова отношения Екатерины Ивановны и Дениса Ивановича стали близкими и в личном плане. В 1774 году они обвенчались.
Жить в доме на набережной семья Фонвизина могла лишь в свои первые годы. Именно тогда в 1779-1782 годах Денис Иванович работал над знаменитым "Недорослем". Уже в 1782 году особняк на берегу Невы был сдан англичанам Кулю и Смолю. Стоявший за ним дом арендовал немецкий булочник Иоганн Шульц. В 1784 году Екатерина Ивановна отдала весь участок от Английской набережной до Галерной улицы в залог Императорскому воспитательному дому. Сама же с мужем жила на оставшейся при них земле - от Галерной улицы до Адмиралтейского канала. В 1789 году участок на набережной был продан английскому купцу Руту.
В начале XIX века усадьбой владели купец Кремер, затем О. А. Жеребцова. 30 мая 1830 года её приобрели супруги Лаваль (владельцы дома №4 на набережной). 28 апреля 1833 года участок перешёл дочери Лавалей Софье Ивановне Борх. Для неё особняк благоустраивал архитектор Людвиг Людвигович Бонштедт. Здесь Софья Ивановна с мужем жила до 1842 года, когда после смерти графини Лаваль им перешёл её особняк.
Этот же участок Борхами был продан жене флигель-адъютант Черткова. После неё им завладел Александр Филиппович Кларк. Здесь же разместилось правление торгового дома "Кларк и К", занимавшегося экспортом хлеба и льна. Семья Кларков владела домом на набережной более полувека. Здесь у Александра Филипповича родились и выросли дети: Александр, Феликс и Софья. После смерти главы семейства его вдова решила перестроить дом. Для этого в 1889 году она пригласила сюда архитектора Виктора Александровича Шретера.
В. А. Шретером здесь был построен каменный трёхэтажный дом, сохранившийся до наших дней. Со стороны Английской набережной и Благовещенской площади были сооружены два главных фасада. Главный вход в особняк был с набережной, кроме него существовал вход с Галерной улицы. Второй этаж заняла анфилада парадных гостиных. Все строительные работы были завершены к 1893 году.
В 1912 году дом Кларка был куплен Нефтепромышленным и торговым обществом "Мазут". Здесь расположились офисы и доходный дом. Тогда же по проекту Н. Л. Маркова здание было надстроено четвёртым этажом.
При капитальном ремонте в 1980-х годах были полностью утрачены все парадные интерьеры дома Кларка. В настоящее время здание занимает военное ведомство.
