Первое каменное здание на участке дома №45 по Большой Морской улице появилось в 1740-х годах. Оно было одноэтажным на высоких подвалах, шириной в семь осей. Справа от него располагались ворота. Владельцем особняка был капитан Пётр Тимофеевич Савелов. В 1772 году вдова Савелова Екатерина Ивановна продала участок купцу, владельцу сахарной фабрики Томасу Себеку. Затем его приобрёл действительный статский советник Сергей Сергеевич Гагарин, у которого в 1776 году территорию приобрёл первооткрыватель "Слова о полку Игореве" Алексей Иванович Мусин-Пушкин. От последнего особняк через четыре года достался Петру Кирилловичу Разумовскому, одному из сыновей последнего гетмана Украины К. Г. Разумовского.
Генерал-майор П. К. Разумовский, оставив военную службу, в 1787 году продал дом дипломату графу Аркадию Ивановичу Моркову, бывшему русским посланником в Голландии и Франции. На месте ворот в 1790-х годах был построен трёхэтажный флигель. В 1792 году у Моркова участок купил купец Карл Иванович Амбургер, поселившийся здесь с женой и пятью детьми. Брат Карла Фридрих Амбургер тогда же владел домом №15 по Большой Морской улице. Сын Карла Андрей был сослуживцем А. С. Грибоедова и его секундантом на дуэли с А. И. Якубовичем.
На начало XIX века владельцем дома №45 являлась вдова действительного статского советника Захара Хитрово - Александра Николаевна. В 1807 году она устроила здесь домовую церковь Ахтырской Божией матери. После смерти Александры Николаевны дом достался её дочери Софье Захаровне, по второму браку имевшую фамилию де Сериньи. В 1832 году церковь была перенесена в здание Государственного контроля (наб. р. Мойки, 74).
У С. З. де Сериньи особняк в 1835 году выкупил архитектор Огюст Монферран со своей женой Элизой. Тогда же был утверждён проект перестройки здания, однако уже в феврале 1836 года Монферран продал участок вместе с проектом владельцу соседнего дома №43 Павлу Николаевичу Демидову за 150 000 рублей. Архитектор переселился в особняк на другой стороне Мойки (дом №86-88), и сразу же начал перестройку домов №43 и 45 по Большой Морской для нового хозяина. Соседний участок (дом №43) был приобретён Демидовым в то же самое время.
Парапет одноэтажной части особняка украсили три панно: "Франциск I у умирающего Леонардо да Винчи", "Микеланджело показывает папе Павлу III проект собора Святого Петра" и "Карл I подаёт Тициану кисть". Они должны были показывать внимание властителей к мастерам искусств. К первым Монферран причислял Демидовых, ко вторым себя. Над парапетом была установлена скульптура с гербом Демидова. Слева перед трёхэтажным корпусом располагается терраса. Её украшали ныне утраченные барельефы на темы басен Лафонтена: "Заяц и черепаха", "Волк и овца", "Лев и мышь", "Обезьяна и дельфин" и "Две змеи". Ассиметричность и сочетание в фасаде особняка разных форм в 1830-х годах было в диковинку для Петербурга, привыкшему к строгим классическим формам зданий.
Хозяева петербургских домов в то время обязывались содержать мостовую перед своими владениями. По указанию Демидова в 1839 году проезжую часть перед домом замостили асфальтовыми плитами, выложенными на слой песка. Однако плиты, что естественно, вскоре расползлись.
После смерти П. Н. Демидова дом №45, равно как и соседний, унаследовал его сын Павел Павлович. В 1873 году он продал особняк княгине Вере Фёдоровне Гагариной, сестре хозяйки соседнего дома Н. Ф. Ливен. Гагариной дом принадлежал до 1918 года, в справочниках особняк часто числится как "дом Гагариной". Она была замужем за С. С. Гагариным, внуком владельца особняка в XVIII веке.
В 1873 году по проекту архитектора Ивана Васильевича Штрома здание несколько изменилось. В левой части уничтожили две двери с зонтиками, новый вход сделали на месте крайнего правого окна. Тогда же зодчим была создана новая парадная лестница из белого мрамора с канделябрами из золочёной бронзы. Не сохранилась внутренняя отделка работы Монферрана, существующая относится к 1890-м годам.
Как и сестра, Вера Фёдоровна Гагарина примкнула к секте баптистов. Свой дом она предоставляла для собраний секты, ходатайствовала об учреждении Общества духовно-нравственного чтения. Её супруг был близок ко двору, собирал коллекцию картин, состоял членом Совета училища барона Штиглица.
В 1918 году дом оказался конфискован в пользу Комиссариата народного хозяйства за неуплату его владельцами городских сборов за 1917 и 1918 годы. В 1923 году здесь, в однокомнатной квартире дворового флигеля, поселился поэт Николай Алексеевич Клюев. В его жилище бывали А. Чапыгин, Н. Заболоцкий, А. Прокофьев, Д. Хармс. В 1920-х годах здание занимали различные учреждения, в том числе правление Ленинградского автоклуба. Большой зал в верхнем этаже использовался для занятий кружка бальных танцев.
Во время Великой Отечественной войны здесь находился Морской регистр СССР. В 1947-1949 годах здание реставрировалось. В конце 1940-х годов здесь разместилось Ленинградское (сейчас Санкт-Петербургское) отделение Союза Композиторов России.
