Дворцовый комплекс между Итальянской, Садовой, Малой Садовой улицами и Невским проспектом начал строиться по проекту архитектора Саввы Ивановича Чевакинского для молодого фаворита императрицы Елизаветы Петровны Ивана Ивановича Шувалова в 1749 году.
Стоит отметить, что место для строительства было выбрано не случайно. Поселившись здесь, Шувалов фактически стал соседом Елизаветы Петровны. Его участок граничил с Летним дворцом императрицы. Позволить себе жить во дворце Шувалов смог только став фаворитом Елизаветы Петровны. Видимо именно поэтому они и стали соседями. Своего прежнего любовника, тайного мужа Алексея Разумовского, императрица поселила также совсем рядом. Ему она отдала, построенный рядом с усадьбой Шувалова, Аничков дворец.
Участок для своей усадьбы Иван Иванович Шувалов выкупил у купца Саввы Яковлева. Так как в средствах фаворит императрицы уже не был стеснён, то он смог позволить построить здесь для себя один из самых роскошных петербургских дворцов. Возведение стен дворца было завершено в 1753 году, а внутренняя отделка продолжалась до осени следующего. 22 февраля 1755 года здесь состоялся пышный бал по поводу новоселья. Одна из петербургских газет тогда писала, что в Большом зале были танцы, а в других "по новому и отменному вкусу богато украшенных покоях" - играли в карты.
Главное дворцовое строение, трёхэтажный особняк в стиле барокко, разместилось на Итальянской улице. Центр его фасада выделялся необычным для Петербурга трёхгранным ризалитом, за которым находился парадный восьмиугольный зал. Екатерина II вспоминала: "Снаружи этот дом, хотя и очень огромный, напоминал своими украшениями манжеты из Алансонских кружев, так много на нём было разных украшений" [там же]. Со стороны Невской першпективы находилось два каменных дома (участки домов №52 и 54), со стороны Садовой улицы - трёхэтажное здание (дом №12). Со стороны Малой Садовой улицы участок ограничивала колоннада с павильоном в центре.
Дворец И. И. Шувалова был посещаем самыми известными людьми того времени. Не редко у Ивана Ивановича гостил Михаил Васильевич Ломоносов. Здесь Шуваловым и Ломоносовым обсуждались планы создания Московского университета. Гостил здесь и драматург А. П. Сумароков, о чьих ссорах в Ломоносовым знали далеко за пределами дворца. В 1756 году дворец принял первых учеников только что созданной Академии художеств. До постройки здания Академии художеств её студенты обучались именно в Шуваловском дворце.
Дворец был знаменит своими балами и маскарадами. Первый из них состоялся ещё в недостроенном здании в сентябре 1754 года. Торжество состоялось по поводу рождения великого князя Павла Петровича, будущего императора Павла I. Существует легенда, гласящая о том, что "на другой день кончины Шувалова, проезжая мимо верхом, император Павел остановился, снял шляпу, поглядел на окна и низко поклонился".
После прихода к власти Екатерины II Шувалов перестал быть близок императорскому дому. Ивану Ивановичу пришлось уехать из Санкт-Петербурга. В 1763 году он решает совершить заграничное путешествие, а так как денег из казны получать уже не мог - продал три четверти дворцового комплекса. Кроме того, им была продана часть коллекции картин, среди которых были работы Рембранта и Рубенса. В 1765 году дворцовое здание со стороны Итальянской улицы приобрёл князь И. С. Барятинский, в 1773 году - генерал-прокурор А. А. Вяземский. С тех пор дворец стал именоваться генерал-прокурорским домом. В 1774-1776 году здание перестраивалось, его фасадам были приданы черты классического стиля. В 1797 году дворец перешёл в казну и стал принадлежать Департаменту уделов, а позже и до 1917 года здесь размещалось Министерство юстиции.
Другие здания дворцового комплекса неоднократно перестраивались. Во дворце Шувалова сейчас размещается Центр медицинской профилактики и Музей гигиены. В настоящее время здесь планируется разместить гостиничный комплекс.
