В июне 1786 года этот тогда ещё пустой земельный участок на берегу Фонтанки купил у купца Крапивина граф Артемий Иванович Воронцов. Спустя несколько месяцев он заказывает здесь постройку каменного дома. Готово здание было уже к 1787 году. Поселившись здесь, граф заказал художнику Д. Г. Левицкому портреты членов своей семьи, которые предназначались для украшения стены в новом доме. Сейчас эти портреты хранятся в Русском Музее.
В середине 1790-х годов Воронцовы переехали в своё подмосковное имение, дом особняк продали Прасковье Андреевне Потёмкиной. Она была замужем за графом Павлом Сергеевичем Потёмкиным. Граф вошёл в историю тем, что именно по его представлению от 15 января 1775 года Екатерина II переименовала реку Яик в Урал, дабы стереть всякую память о пугачёвском восстании. Потёмкин умер 29 марта 1796 года, Прасковья Андреевна - в 1816 году. После её смерти сын съехал из дома на Фонтанке, помещения сдавал в наём.
Вскоре здание выкупила Н. Г. Скарятина, супруга полковника Якова Фёдоровича Скарятина. Полковник отметился в истории тем, что именно его шарфом был задушен в находящемся рядом Михайловском замке Павел I.
В 1832 году Скарятины продали дом графу И. А. Мусину-Пушкину. С 1836 года домом владел князь Э. А. Белосельский-Белозерский. Для князя по проекту А. К. Кавоса был перестроен фасад дома выходящий на Караванную улицу, с того времени он получил существующий сейчас облик.
В дальнейшем, до 1917 года, домом владела семья министра юстиции Виктора Никитича Панина. Виктор Никитич пробыл на посту министра двадцать лет. Был противником реформ Александра II, однако работал в комиссии по подготовке крестьянской реформы. Занимаясь ей делал всё возможное чтобы учесть интересы помещиков. После же начала судебной реформы подал в отставку.
После 1917 года особняк перешёл в собственность государства. До сих пор на аттике присутствует уже не актуальная надпись "ДОМ ОБОРОНЫ ДОСААФ".
