Участок дома №17 на Невском проспекте в 1736 году пострадал от пожара, уничтожившего большинство построек на противоположном берегу Мойки. На погорелом месте портной Иоганн Нейман (владелец соседнего дома №18) "зачал строение каменного дому в два апартамента по Невской прешпективой, да в заворот по речке Мье" [5]. Проект дома для Неймана составил архитектор М. Г. Земцов. В единый комплекс с особняком портного были встроены соседний дом придворного повара Шестакова и дом Янкова - адъютанта генерала Салтыкова (Невский пр., 19).
Ещё не достроенный дом Неймана приобрели братья Александр, Николай и Сергей Строгановы, представители старинного купеческого рода. В практически всех современных краеведческих книгах указывается, что участок был ими куплен в 1742 году. Эту дату указывают известный петербургский краевед Б. М. Кириков в книге "Невский проспект" и С. Кузнецов в книге "Дворцы и дома Строгановых". Один из историков, Ю. В. Трубинов, в книге "Строгановский дворец" умудряется написать, что именно тогда, в 1742 году, Анна Иоанновна (скончавшаяся в 1740 году) подписала указ, позволяющий сделать такое приобретение. Более правдоподобно выглядит версия Ю. М. Денисова. В приложении к "Панораме Невского проспекта В. С. Садовникова" (изданной в 1974 году) он ссылается на специальный указ Сената, которым Строгановым было разрешено купить дом Неймана. А указ этот, по версии Денисова, датирован 15 сентября 1736 (или 1737) года [5]. Как бы то ни было, в доме на углу Мойки и Невской першпективы поселился барон Сергей Григорьевич Строганов. На свои деньги он достроил особняк.
Так как жилой комплекс на углу Невского проспекта и Мойки проектировался для повара, портного и адъютанта генерала, то фасады входящих в него трёх домов можно было сделать почти одинаковыми. Граница между ними почти не просматривается. Их внешний вид прекрасно дошёл до современных исследователей на чертежах из коллекции Берхгольца. Барон Строганов, конечно же, был этим разочарован. Ему не удалось переделать проект согласно своим вкусам, так как градостроительная дисциплина в конце 30-х годов XVIII века при императрице Анне Иоанновне соблюдалась строго. 28 июня 1737 года дом на проспекте было велено строить "в один апартамент на погребах", а в вышеупомянутом указе Сената оговаривалось: "...позволено купить с таким обязательством, чтоб оной от них достроен был регулярно, по архитектуре" [5].
В краеведческой литературе широко распространена история о соседе Строганова императорском поваре Шестакове. Сергей Григорьевич якобы долго упрашивал повара продать своё владение. Однако пусть бедное, но в центре столицы, жильё повар продавать не хотел. Барону же оставалось перестраивать интерьеры своего дома, для чего им был приглашён придворный архитектор Ф. Б. Растрелли. Последний факт историки подтверждают письмом, которое С. Г. Строганов написал 29 марта 1753 года своему сыну Александру:
Но 14 декабря 1752 Строганов как камергер двора уехал в Москву и был там два года, что убедительно доказал К. В. Малиновский в книге "Санкт-Петербург XVIII века". Значит Растрелли жил у Сергея Григорьевича не в петербургском, а московском доме. К этому времени, судя по письму Строганова своему сыну Александру от 2 ноября 1752 года петербургский особняк сгорел:
Малиновский опровергает и этот факт, считая, что Строганов писал о пожаре сыну в марте не 1753, а 1754 года и имел ввиду сгоревший московский дворец Анненгоф. Но приведённая цитата прямым текстом говорит о петербургском доме. К тому же, 2 ноября 1752 года Сергей Григорьевич ещё был в Санкт-Петербурге. По версии К. В. Малиновского перестройка дома Строганова началась в 1753 году, когда тот ещё находился в Москве. Перед этим повар Шестаков наконец-то уступил свой дом барону и приобрёл соседний (№19).
Строительство Строгановского дворца велось стремительными темпами. Новое здание включило в себя фундаменты и своды первого этажа старых домов. Уже 12 октября 1754 года здесь состоялся бал по случаю новоселья, который посетила сама императрица Елизавета Петровна [3], а 19 октября - маскарад по случаю рождения великого князя Павла Петровича. У Строгановых же императрица отметила свой следующий день рождения. Стоит отметить, что осенью 1754 года была готова лишь часть дворца со стороны Мойки. Для приёма гостей использовали лишь семь помещений, из-за чего кормить их пришлось в несколько смен.
Цитируемые Малиновским документы показывают, что строительство Строгановского дворца было завершено только после смерти заказчика 30 сентября 1756 года. Значит именно позднюю осень этого года и следует считать временем окончания строительных работ.
Участие в строительстве частного здания Ф. Б. Растрелли является редким случаем. Работа на частного заказчика императорского архитектора была практически исключена. Однако для семьи Строгановых, близкой к Романовым, было сделано исключение. Сергей Григорьевич Строганов оказался единственным заказчиком, отблагодарившим Растрелли в полной мере ещё до окончания его работы. По его указанию итальянским художником Пьетро Ротари был написан портрет архитектора. Картина висела в Белом зале до 1917 года.
Из-за своего нахождения на Невском проспекте, дворец Строганова не мог быть построен по усадебному принципу, с отступом от красной линии улицы, с ризалитами и парадным подъездом. Так как заказчик желал занять достойное место среди богатых соседей, то архитектор оформил фасады и по проспекту, и по Мойке одинаково представительными. Это первый частный дом построенный Растрелли и единственный из сохранившихся до наших дней.
Растрелли так писал о своей работе:
Простенки между окнами дворца Строгановых украшены медальонами с мужским профилем. Считается, что это скульптурный портрет графа Сергея Григорьевича. Но существует и другое мнение. Будто бы это портрет самого Растрелли. По проектам архитектора было оформлено 50 помещений.
После смерти Сергея Григорьевича, Строгановский дворец перешёл во владение его сына, Александра. Граф Александр Сергеевич был крупным меценатом, президентом Академии художеств, директором Публичной библиотеки. В 1788-1793 годах интерьеры здания перестраивал архитектор Фёдор Иванович Демерцов. Им во дворе вместо служебных построек были построены два новых флигеля - южный и восточный. Таким образом здание замкнулось в каре. В северном корпусе зодчий оформил Минералогический кабинет.
Четыре чугунных столбика с львиными масками в подворотне Строгановского дворца когда-то служили частью ограды канала, прорытого у дворца около 1760 года. Два таких же столбика остались у дома №19.
В 1793 году переустройство помещений продолжил бывший крепостной Строгановых архитектор Андрей Воронихин, в 1791 году вернувшийся из заграничной поездки с сыном хозяина дворца Павлом Александровичем Строгановым. В результате этих работ изменились не только внутренние покои, но и фасад здания. С фасада убрали статуи-аллегории сторон света, изменили его окраску. Она стала жёлто-розовой.
В 1790-х годах в Строгановском дворце произошёл сильный пожар. Выгорело практически всё здание. Из помещений в первоначальном оформлении с тех пор сохранился только Бальный зал. Это единственный в Петербурге подлинный, не воссозданный, парадный интерьер Растрелли. Воронихин жил в Строгановском дворце до 1801 года.
Во дворце Александра Сергеевича было множество самых разных помещений. Однако здесь не было спальни, так как владелец привык спать в разных комнатах в креслах, на кушетках или на раскладной походной кровати. Для обслуживания дворца содержался двор в 600 человек - певцы, музыканты, танцоры, актёры, повара, плотники, гребцы...
Александр Сергеевич Строганов был первым директором Публичной библиотеки, президентом Академии художеств. В его доме собиралась богатейшая коллекция живописи, в которую входили работы Рембрандта, ван Дейка, Робера, Рени. Здесь же хранились работы знаменитых скульпторов. Библиотека Строгановых считалась одной из богатейших в России.
Дворец Строгановых был центром культурной жизни Петербурга. Здесь проводились балы, маскарады, оперные выступления. На вечерах собиралось до пятисот гостей. Их посещали Д. И. Фонвизин, Г. Р. Державин, И. А. Крылов, Н. И. Гнедич, Д. С. Бортнянский, Д. Г. Левицкий, И. П. Мартос. В Строгановском дворце Фонвизин впервые читал отрывки из своего "Бригадира", а Крылов - многие басни.
После смерти Александра Сергеевича 28 сентября 1811 года дворец перешёл во владение его сыну - Павлу. Единственный сын Павла Александровича был убит в Краонском сражении во Франции, граф вынужден был учредить маойрат Строгановых - неделимое имущество, передававшееся по наследству старшему в роду. После кончины Павла в 1817 году дворец стал принадлежать его вдове Софье Владимировне (из рода Голицыных). В 1818 году она выдала замуж свою дочь Наталью за барона Сергея Григорьевича Строганова, находящегося с ней в дальнем родстве. После свадьбы ему был пожалован графский титул. Младшая дочь Софьи Владимировны Аделаида вышла замуж за князя Василия Голицына. Обе молодые семьи жили во дворце на Невском. Для их нужд в 1820-х годах помещения перестраивал архитектор Строгановых П. С. Садовников. Им был создан Арабесковый зал. Во дворе архитектором была сооружена голубятня, просуществовавшая там до начала ХХ века. В 1842 году Садовников надстроил южный дворовый флигель, придав его фасаду барочные черты.
После смерти Софьи Владимировны в 1845 году владельцем майората стал граф Сергей Григорьевич. После его смерти в 1882 году Строгановский дворец отошёл внуку - графу Сергею Александровичу. В XIX веке дворец неоднократно перекрашивался. Он был светло-сиреневым, кирпично-красным, зелёным, наконец - розовым.
Дом Строгановых славился своими "открытыми обедами" ("бефстроганов" - изобретение именно этой семьи). Во внутреннем дворе дворца накрывали столы, отобедать здесь мог любой желающий. Этим пользовались и небогатые граждане. В 1908 году во дворе устроили небольшой сад. Сергей Александрович во дворце не жил, в 1912 году он уехал во Францию.
После 1917 года все Строгановы уехали из России. В 1918 году дворец Строгановых был национализирован. Строгановскую библиотеку передали Томскому университету. Здесь же открылся историко-бытовой дом-музей. С 1925 года он являлся филиалом Эрмитажа. В 1929 году музей был закрыт, ценные вещи переданы Эрмитажу и Русскому Музею. Во дворце расположилась Академия сельскохозяйственных наук. В 1937 году здесь начал работу "Электромортрест", затем судостроительное предприятие "Эра".
В 1988 году дворец Строгановых передан Русскому музею. В 1989-1991 годах часть помещений занимал Ленинградский НИИ теории архитектуры и градостроительства. В 1991 году Строгановский дворец начал реставрироваться, в нём открылся филиал Русского музея. Здесь же действует экспозиция восковых фигур. Во дворе открыт ресторан. В 2003 году закончена реставрация фасадов здания с восстановлением первоначальной окраски.
Строгановский дворец - единственное здание на Невском проспекте, которое сохранило свой внешний облик практически неизменным за всё время своего существования. Окна первого этажа уменьшили свою высоту на треть из-за поднятия уровня мостовой. Балкон со стороны Мойки раньше поддерживали атланты.
В настоящее время во дворце реставрируются помещения. Восстановление интерьеров происходит в том числе на средства Элен Строгановой, живущей в Париже.