Первый владелец этого участка на Английской набережной - князь Иван Юрьевич Трубецкой, один из приближённых Петра I. При нём здесь располагался типовой жилой двухэтажный каменный дом на высоких подвалах. В 1739 году, получив должность московского генерал-губернатора, он уехал из Санкт-Петербурга. Участок с находящимся здесь домом он продал Дмитрию Михайловичу Голицыну, тогда ещё совсем молодому человеку, но будущему генералу, тайному советнику, дипломату и меценату.
21 мая 1787 года дом перешёл жене тайного советника князя Николая Алексеевича Голицына - Марии Адамовне. В 1797 году из-за финансовых затруднений её семья заложила дом Императорскому воспитательному дому за 7 000 рублей, но вскоре вернула его в своё владение.
В 1820-х годах особняк принадлежал участнику Бородинского сражения графу Станиславу Станиславовичу Потоцкому. Граф с женой устраивали здесь балы и вечера, на которых присутствовал император. Фрейлина императрицы А. О. Смирнова-Россет так описывала эти мероприятия:
После смерти графа в 1831 году домом владела его дочь Александра. В 1840-е годы дом перестраивал архитектор Александр Христофорович Пель. Сохранились проекты полной переделки здания, но реализованы были лишь работы над интерьерами. В июле 1843 года А. И. Штакеншнейдер проводил здесь работы про подаче в дом воды из Невы, а в следующем году работал над фасадом здания. Среди всех залов особняка Потоцких особенно выделялась готическая столовая. Современники сравнивали её с коттеджем в Петергофе и Фермой в Царском Селе.
В 1850-х годах дом перешёл генерал-фельдмаршалу Ивану Фёдоровичу Паскевичу. Новый хозяин вместе со своей женой продолжал устраивать здесь светские вечера. Их приёмы отличались особой роскошью. Особенно поражали гостей необыкновенные блюда, приготовленные известным петербургским поваром того времени И. М. Радецким. Для Паскевичей дом в 1856-1857 годах вновь перестраивал А. Х. Пель. В этот раз он создал здесь зимний сад, две галереи, изменил многие интерьеры и главный фасад здания.
После смерти Ивана Фёдоровича Паскевича и его жены Елизаветы Алексеевны домом владел их единственный сын - генерал-лейтенант Фёдор Иванович Паскевич. Новый хозяин пожелал переделать интерьеры по своему вкусу, для чего пригласил архитектора Роберта Андреевича Гедике. Он изменил оформление двух галерей, провёл ремонтные работы в невской анфиладе.
В доме Паскевичей хранилась богатая коллекция боевого, турнирного, охотничьего, холодного и огнестрельного оружия, различных доспехов, ныне хранимая в Эрмитаже. Она приобреталась на полученную Ф. И. Паскевичем денежную премию за участие в русско-турецкой войне.
В 1870, 1872 и 1892 годах строительные работы в доме Паскевичей проводил архитектор Эдуард-Готлиб Фридрих Крюгер. В 1911 году при вдове Фёдора Ивановича, Ирине Ивановне, зодчий Роберт Робертович Марфельд изменял некоторые интерьеры.
Да нашего времени сохранился ряд парадных залов дома Паскевичей: парадная лестница, Лебединый зал (Голубая гостиная), парадная столовая, Золотая гостиная, Белый (Музыкальный) зал, Готический зал, Рыцарский кабинет. Частично сохранили свой декор Арсенальная галерея, Охотничья комната, зимний сад.
В 1922 году дом Паскевичей принял единственный в СССР Музей морского торгового мореплавания и портов. Здесь хранилась уникальная коллекция моделей пароходов, флагов, морских карт, книг. Музей хранил подлинный парусный бот Петра I, сгнивший во дворе дома в 1940-х годах. После ремонта в доме Паскевичей с 1960 года разместился проектный институт Ленжилниипроект.
В 1993 году особняк стал принадлежать Московскому индустриальному банку. В доме Паскевичей была проведена научная реставрация интерьеров, признанная одной из лучших в 1990-х годах. В ходе этих работ были обнаружены проходы между этим и соседним домом по набережной (№10) во втором этаже. Они существовали вследствие принадлежности обоих зданий с середины XIX века близким родственникам.
В 2006 году дом Паскевичей был выставлен банком на продажу.
