В конце XVIII века здесь, на берегу реки Фонтанки, располагался двухэтажный дом с восьмиколонным портиком, которым владела семья Воронцовых. В 1799 году его выкупила Мария Антоновна, жена гофмейстера Дмитрий Львовича Нарышкина. Новые хозяева расширили здание, создали несколько новых парадных помещений.
По свидетельству одного из современников, присутствующего на встрече нового 1821 года, в доме Нарышкиных:
Бальный зал (он же Танцевальный, Александровский, Белоколонный) был одним из самых популярных мест в Санкт-Петербурге в 1820-1830-е годы. Здесь проводились балы и концерты, которые посещали не только Державин, Крылов, Вяземский, Пушкин, но и сам император. Причём, Александр I был не только посетителем этих мероприятий, а и личным гостем хозяйки Марии Антоновны. В итоге у Нарышкиных было шесть детей, из которых супруг признавал как свою только дочь Марину.
В 1834 году Нарышкины уехали из Петербурга, домом на Фонтанке владели их родственники. А в 1846 году дворец оказался во владении Петра Павловича Шувалова в качестве приданного Софьи Львовны Нарышкиной. С тех пор дворец именуется Шуваловским.
Ещё в 1844 году перед свадьбой была начата перестройка здания по проекту Бернара де Симона. В 1844-1846 годах Н. Е. Ефимов объединил отдельные корпуса в единый объём, переделал фасады в стиле итальянского ренессанса. На первом этаже расположилась контора Шуваловых, заведующая их поместьями и предприятиями. Вместо сквозного проезда с Фонтанки был создан Парадный вестибюль с мраморной лестницей, а также Голубая, Белая, Красная, Золотая и Синяя гостиные, Рыцарский зал, Большой и Готический кабинеты.
До 1917 года дворец принадлежал семье Шуваловых. 1 августа 1918 года он был национализирован. В 1919 году здесь открыли Музей быта, который через четыре года закрыли, а экспонаты передали в Эрмитаж. В Шуваловском дворце разместился Дом печати, затем Дом инженерно-технических работников имени В. М. Молотова. Перед Великой Отечественной войной здесь начала работу проектная организация. Во время войны здание сильно пострадало от попадания немецких авиабомб. После реставрации, в 1965 году в Шуваловском дворце открылся Дом дружбы и мира с народами зарубежных стран.
