Первым хозяином этого участка на Английской набережной стал парусных дел мастер Иван Данилович Кочетов. В 1706 году он построил здесь деревянную избу, которую в 1729 году заменил на мазанковый дом. В 1733 году участок передали графу Фридриху Самуиловичу Скавронскому, родному брату покойной императрицы Екатерины I.
Фридрих, равно как и его брат Карл, были первыми из семьи Скавронских приглашённых в 1726 году в Санкт-Петербург. 5 января 1727 года Карлу Самуиловичу было жаловано графское достоинство. По воспоминаниям современников:
После смерти Фридриха Самуиловича в Москве дом перешёл его вдове Екатерине Родионовне. К 1738 году при ней здесь был построен каменный особняк с мезонином в 15 окон по фасаду. Хозяйка жила в Москве, здесь же квартировал остзейский барон Менгден.
В середине 1740-х годов участок перешёл племяннику Фёдора Самуиловича - графу Мартыну Карловичу Скавронскому. Граф жил в другом особняке, на берегу Мойки, близ Зимнего дворца. В 1754 году он женился на баронессе Марии Николаевне Строгановой. В конце своей жизни 20 января 1772 года он продал дом на набережной банкиру Ивану Юрьевичу Фредериксу.
После смерти банкира домом владела его жена Регина Луиза. 1 ноября 1782 года участок приобрела Екатерина Романовна Дашкова. Она только что вернулась из Англии, к тому времени находилась на посту директора Академии наук и художеств, президента Российской академии. Вот как она описала покупку:
Летом хозяйка особняка жила в своём имении Кирьяново (ныне пр. Стачек, 45). Екатерина Романовна Дашкова прожила здесь 12 лет. В мае 1794 года, будучи в ссоре Екатериной II, она была вынуждена уехать из Петербурга. Дом на Английской набережной Дашкова продала голландскому купцу Логину Петровичу Бетлингу. Одновременно этот человек приобрёл и другое строение на набережной (дом №42).
В самом начале XIX века домом на этом участке завладел шталмейстер Павел Дмитриевич Дурново. Согласно описаниям дома того времени, дом Дурново оставался таким же, каким он был ещё в 1738 году. Комнаты Павла Дмитриевича располагались во втором этаже. Здесь же был зимний сад. В мезонине находились кладовые, а в бельэтаже - двенадцать комнат супруги Александры Петровны (урождённой княгине Волконской). Их сын Пётр Павлович имел здесь свою физическую лабораторию. В 1858 году он оборудовал в доме фотолабораторию.
С 1857 года Павел Дмитриевич и Александра Петровна в основном находились за границей. Фактическим хозяином дома стал их сын, 22-летний Пётр Павлович. В 1864 году после смерти родителей дом перешёл ему по наследству. Он жил здесь со своей женой Марией Васильевной (урождённой Кочубей) и сыном Павлом, названным в честь деда. Тот был женат на Софье Петровне Волконской и имел дочь Александру.
При Петре Павловиче в доме на Английской набережной часто устраивались званые обеды, балы.
В 1860-х годах для перестройки особняка были приглашены архитекторы Павел Юльевич Сюзор и Людвиг Францевич Фонтана. После сравнения составленных ими проектов решение было принято в пользу последнего. В 1871 году начались строительные работы. Проект Фонтана предусматривал создание здесь комплекса парадных гостиных, танцевального зала, огромного зимнего сада со стороны двора. Он был спроектирован на втором этаже дома и занимал почти весь парадный двор. Под зимним садом на первом этаже находились ещё два зала. Все работы в доме Дурново были завершены к 1873 году. С тех пор этот дом имеет существующий сейчас фасад.
До нашего времени от Дурново сохранились оформление вестибюля, облицованная голландской плиткой стена на первом этаже, коридор второго этажа, лепнина потолка в большом зале.
Немногим ранее работы над особняком Фонтана перестраивал дачу Дурново (Полюстровская наб., 22).
В 1918 году дом Дурново был национализирован. В 1927 году здесь произошёл пожар, в результате которого сгорели две комнаты бельэтажа под зимним садом и сам зимний сад. Сильно пострадала беломраморная парадная лестница. Выгорела отделка многих других помещений. После пожара здание было передано Ленинградскому тресту химической промышленности. В 1929 году эта организация проводила реконструкцию дома.
Центральная часть особняка со стороны двора была надстроена на 1,25 метра. Парадную лестницу уничтожили. Пространство между бельэтажем и вторым этажом закрыли перегородками. В результате в третьем этаже появились две новые комнаты и большой зал. Коридор второго этажа незначительно расширили. Была установлена металлическая наружная лестница для запасного выхода.
Владеющая домом Дурново организация неоднократно меняла своё название. В 1996 году она (Петрохимоптторг) провела здесь большой косметический ремонт. Был отреставрирован вестибюль и первый этаж. С фигур атлантов, стоящих в вестибюле, был снят большой слой масляной краски.
В настоящее время дом Дурново принадлежит правительству Российской Федерации. Здесь работает заместитель главного прокурора РФ. Проводится очередная реставрация.
