Территория между рекой Фонтанкой и Караванной улицей начала застраиваться в конце 1780-х годов. Одним из первых построенных здесь домов стал дом №27 по набережной реки Фонтанки. Владельцем этого участка был купец Гаврила Степанович Зимин, являвшийся петербургским бургомистром.
Точных документальных сведений об архитекторе дома Зимина не сохранилось. Но историк П. Н. Столпянский убедительно доказывает, что им был знаменитый итальянский зодчий Джакомо Кваренги. В качестве доказательств он приводит слова Зимина о "Итальянской архитектуре" дома, характерные для Кваренги черты интерьеров. Фасад здания, конечно, достаточно прост. Всё-таки купец в конце XVIII века не мог себе позволить соперничать с дворянами. Но на внутреннее содержание дома никто не мог наложить никаких ограничений. Зимин строил его, рассчитывая на скорое избрание городским головой. Поэтому ему требовались соответствующие апартаменты, в которых он мог бы принимать самых известных лиц. Создать их мог только известный всем архитектор, которым в 1780-х годах и был Кваренги.
Первое объявление о доме Зимина датируется 7 ноября 1788 года:
Судя по этому объявлению к 1788 году уже был готов к эксплуатации и сам дом и дворовые флигели. При этом корпус со стороны Караванной улицы и дворовые флигели сдавались целиком, а со стороны Фонтанки не продавался в аренду средний (второй) этаж.
Стать городским головой Гавриле Зимину было не суждено. Когда состоялись вторые выборы на эту должность, им стал купец Меньшиков. От расстройства Зимин сразу же, в 1791 году, попытался продать дом на Фонтанке:
Дом Зимин так и не продал. Летом Гаврила Степанович уезжал к себе в имение, которое располагалось в одной версте от Новой Ладоги. Во время его отсутствия в петербургском доме посетителей встречали дворецкий, приказчик или даже просто дворник. Купец имел большую семью, заботился о воспитании детей. Так, осенью 1803 года он несколько раз подавал такое объявление:
Иногда в доме Зимина снимались помещения под торговлю. Так, калужский купец Афанасий Потапов открыл в местных погребах "полпивную", то есть портерную. У Потапова можно было купить пиво заводчика Усачёва и портер, торговля велась "на английский манер". Это торговое предприятие успеха не возымело, купец обанкротился и продал своё имущество. У Зимина же работала частная ссудная касса, которую позже сменил аукционный дом. Он работал в левом флигеле (со стороны Фонтанки) во втором этаже, как минимум до 1808 года. Здесь же работал трактир "Город Амстердам", затем кофейный дом "Каноникус".
Гаврила Степанович умер в 1806 году. После смерти владельца дома его вдова начала сдавать и бывшие хозяйские апартаменты в среднем этаже лицевого корпуса по Фонтанке. Сама же она жила в корпусе со стороны Караванной улицы. Жильцами в бель-этаже были богатые люди. Среди них был действительный камергер Лев Александрович Нарышкин. Он уехал отсюда заграницу, после чего квартира пустовала недолго. В ней поселился граф Мусин-Пушкин-Брюс. Ещё позже спрос на квартиры в доме Зиминых упал. Хозяйка предлагала к съёму уже не весь этаж, а только его половину. Но и на это не находилось желающих. В конце 1813 (или в начале 1814 года) Иван Гаврилович Зимин продал дом на Фонтанке министру финансов графу Дмитрию Александровичу Гурьеву.
При новом владельце здание перестало быть доходным домом, превратилось в особняк. Его обитателями стали дочь графа Гурьева Мария Дмитриевна и её супруг граф Нессельроде (их свадьба состоялась 27 июля 1814 года). Сам министр финансов жил на служебной квартире (Дворцовая наб. 8). Несколько позже граф Нессельроде стал министром иностранных дел, продолжал жить в доме на Фонтанке. Одновременно с ним в 1823 году здесь же обитали посланник и полномочный министр австрийского двора барон Лебцельтерн, два секретаря австрийского двора Флюсель и Швеер де Дюренштейн.
После ухода в отставку граф Дмитрий Александрович Гурьев переехал в свой дом на Фонтанке. Здесь он прожил со своей семьей около двух лет. Жена графа скончалась в 1830 году, после её смерти участок перешёл к старшему сыну Александру Дмитриевичу, женатому на графине Авдотье Петровне Толстой. Александр Дмитриевич в 1830 году служил в провинции, а в Петербург перебрался только спустя девять лет, после своего назначения 14 февраля 1839 года членом Государственного совета. Он жил во втором этаже дома на Фонтанке до своей смерти 16 декабря 1865 года.
По наследству участок перешёл внучке графа княжне Екатерине Сигизмундовне Любомирской. Её мать, дочь графа Гурьева, графиня Александра Александровна была замужем за польским магнатом князем С. К. Любомирским и умерла скоро после рождения дочери Екатерины. Последняя не жила в России, она снова превратила это место в доходный дом. В 1888 году второй этаж здания на Фонтанке был сдан за 3 660 рублей Собранию инженеров путей сообщения для создания здесь клуба. Арендаторы провели ремонт, при котором мраморные стены и камины закрашивались масляной краской.
В 1903 году бывший дом Зиминых перешёл во владение к княгине Марии Анатольевне Шаховской, правнучке графа Д. А. Гурьева. По её заказу парадным помещениям вернули прежний облик, с мраморных стен была убрана краска, восстановлены украшения. К дворовому флигелю архитектор А. И. Фомин пристроил дополнительный объём - галерею.
В советское время дом М. А. Шаховской был национализирован. Долгие годы его занимает санкт-петербургское отделение Математического института им. В. А. Стеклова.
