В начале XVIII века здесь, на берегу Мойки, располагалась усадьба племянницы Петра I Прасковьи Иоанновны. В 1726 году Прасковья Иоанновна подарила свою усадьбу Семёновскому полку, который был здесь расквартирован до 1742 года. В середине 1740-х годов эта территория вошла во владения графа Петра Шувалова. Для графа на берегу Мойки был выстроен дворец в стиле барокко, он занял участок современного дома №96. Здесь же располагались двухэтажный дом для прислуги и павильон с шатровой крышей.
Сын Петра Шувалова (граф Андрей Петрович) продал особняк своего отца. По своему вкусу он решил построить новое здание, немного выше по течению реки. Архитектором новой постройки на участке дома №94 стал Ж. Б. Валлен-Деламот, строительство шло в 1774 году. Здание в виде вытянутой буквы "П" располагалось в глубине участка, центральный объём имел три этажа, боковые ризалиты - по два. Со стороны реки Мойки находилась въездная арка, ведущая в парадный двор. Со стороны Офицерской улицы (ныне Декабристов) был организован въезд через триумфальные ворота-арку. Они сохранились до настоящего времени. Переехал Андрей Петрович Шувалов в этот дворец только в 1781 году, до того он проживал за границей. После смерти графа 24 апреля 1789 года наследники продали дворец в казну. В 1795 году этот Екатерина II подарила его своей фрейлине графине Александре Браницкой.
5 марта 1830 года за 250 000 рублей дворец купил Борис Николаевич Юсупов - племянник Браницкой. Для Юсуповых дворец перестраивался в 1830-1838 годах по проекту Андрея Алексеевича Михайлова (Михайлов 2-й). Центральную часть парадного фасада зодчий оставил без изменений, а боковые ризалиты достроил до трёх этажей. С восточной стороны был пристроен новый трёхэтажный корпус, здесь архитектор разместил самый большой зал - Банкетный. Дворцовые флигели были объединены, в них стали размещаться картинные галереи и домашний театр. На территории усадьбы был разбит сад, устроены оранжереи и садовый павильон.
Вместо въездной арки со стороны Мойки Михайловым была создана Парадная лестница, ведущая в парадные залы дворца. Самый большой из них - Банкетный, также названный Белоколонным, так как оформлен 24 колоннами. Кроме того, во дворце были устроены Танцевальный зал, Зелёная, Императорская и Синяя гостиные, Большая ротонда. В восточной пристройке был создан театр. В анфиладе залов, ведущих к театру, размещалась художественная галерея Юсуповых. Интерьеры Юсуповского дворца создавались итальянскими мастерами А. Виги, Б. Медичи, П. Скотти, Ф. Торичелли, а также русским мастером А. И. Травиным.
В 1840-х годах архитектор Б. Симон во дворце обустроил Зимний сад и Гобеленовскую гостиную. В этой гостиной находились три гобелена, подаренные Николаю Борисовичу (сыну Бориса Николаевича) Наполеоном Бонапартом. После смерти Бориса Николаевича его вдова Зинаида Ивановна переехала на Литейный проспект, где начала строить для себя новый особняк. А сын, Николай Борисович Юсупов, решил перестроить дворец на Мойке. Для этого им был приглашён архитектор И. А. Монигетти. В результате его работы здесь была переоформлена Парадная лестница, созданы Белая и Музыкальная гостиные, Буфетная первого этажа и ряд других помещений.
В 1863 году архитектор Степанов установил мраморную лестницу ведущую в партер домашнего театра. Эту лестницу приобрёл во время путешествия по Европе Николай Борисович Юсупов. Сохранилась история о том, что Николай Борисович увидел её в одной из старинных итальянских вилл. На вопрос о продаже лестницы был получен ответ, что она продаётся только вместе с самой виллой. Так и было сделано, лестница в 1859 году оказалась в Санкт-Петербурге. Вилла же осталась в Италии.
В начале 1890-х здание дворца было модернизировано. По проекту Александра Степанова здесь появляется электричество, канализация, водопровод и водяное отопление. Степановым были перестроены и некоторые внутренние помещения, среди которых - домашний театр, ставший одной из самых ярких достопримечательностей Юсуповского дворца. Кроме театра, Степановым была создана Мавританская гостиная.
Очередные переделки интерьеров произошли после свадьбы князя Феликса Феликсовича Юсупова и племянницы Николая II великой княжны Ирины Александровны в 1914 году. Архитекторами А. П. Вайтенсом, А. Я. Белобородовым, С. В. Чехониным и В. М. Конашевичем здесь были созданы Большая гостиная, Большой зал, Столовая и другие помещения.
16 декабря 1916 года в стенах дворца Юсуповых был убит Григорий Распутин.
Декретом от 22 февраля 1919 года дворец был национализирован. 20 сентября 1919 года была открыта для посетителей картинная галерея. В 1924 году открылась выставка рассказывающая о убийстве Григория Распутина. В 1925 году музей "дворянского быта" был закрыт, так же как и другие подобные музеи в городе. Многие ценности из дворца были вывезены. В здании начал работать Дворец культуры работников просвещения.
Во время Великой Отечественной воины в залах Юсуповского дворца располагался эвакогоспиталь. Здание сильно пострадало от бомбёжек, в первый послевоенный год началась его реставрация. В 1960 году дворец получил статус памятника федерального значения.
В настоящее время в залах дворца располагается музей, посвящённый дворянскому быту семьи Юсуповых. Здесь снова работает экспозиция "Убийство Григория Распутина".
