Этот участок между Царицыным лугом (ныне Марсовым полем) и Дворцовой набережной первоначально был передан статс-секретарю Екатерины II П. А. Соймонову. Но он от него отказался. Фактическим первым хозяином участка стал богатый купец Ф. И. Гротен. В 1784-1788 годах для него по проекту Д. Кваренги здесь был построен особняк. Купец так и не успел въехать в новостройку. В 1790 году он продал участок именитому петербургскому гражданину Т. Т. Сиверсу. Через три года дом был продан княгине Екатерине Петровне Барятинской, а ещё через три года в газете "Санкт-Петербургские ведомости" появилось объявление о сдаче здесь квартир в наём.
Клиентов долго не находилось, так как по Петербургу пошёл слух о призраке Петра Великого, который якобы бродил по дому с молодой особой и при этом ругал её всевозможными словами [3, с. 236].
3 февраля 1796 года Екатерина II приобрела особняк и подарила его фельдмаршалу Николаю Ивановичу Салтыкову [2, с. 27]. Новый хозяин участка был кавалером большинства русских орденов, занимал высшие государственные посты, был президентом Военной коллегии, занимался воспитанием Павла I и его сыновей Александра и Константина.
Изначально особняк имел три этажа со стороны Невы и два со стороны Марсова поля. С западной стороны до служебного корпуса Мраморного дворца был разбит сад. От Царицыного луга и берега Невы сад был отделён забором. Западный фасад дома не имел окон. Они появились здесь только в 1818 году, когда К. Росси создал соседнюю Суворовскую площадь. При этом были уничтожены сад с оградой.
До 1802 года Н. И. Салтыков был президентом Военной коллегии. В качестве гостя и по делам службы у него неоднократно был А. В. Суворов. В 1812-1816 годах Салтыков был председателем Государственного совета и Комитета министров. Поэтому именно в его кабинете летом 1812 года по указанию Александра I был собран комитет по выбору главнокомандующего русской армией. После долгих споров им был выбран М. И. Кутузов.
Салтыков с конца XVIII века владел также другим домом (Большая Морская ул. 33), в котором после кончины фельдмаршала в 1816 году стоял его гроб. В 1818-1823 годах в особняке были перестроены парадная лестница и вестибюль, создана домовая церковь, надстроены дворовые флигели.
По поводу следующего владельца дворца в краеведческой литературе наблюдается путаница. По мнению краеведа В. Измозик, опирающегося на справочник 1816 года, после смерти Салтыкова дом на Марсовом поле стал собственностью его сына Александра [2, с. 27]. Историк Г. Зуев утверждает, что здание перешло во владение не Александра, а Сергея Николаевича, младшего сына Салтыкова. Сергей Николаевич Салтыков скончался в 1828 году. Дом на берегу Невы достался его племяннику, вдова переселилась в здание неподалёку [3, с. 238].
Несуразица в книгах о Петербурге содержится и на тему начала пребывания в доме Салтыковых семьи австрийского посла. Краевед Т. А. Соколова в книге "Дворцовая набережная" пишет, что возглавляемое графом Шарлем Луи Фикельмоном посольство сняло дворец в сентябре 1829 года [1, с. 152]. Краевед В. Измозик в книге "Пешком по Миллионной" указывает, что дом сдавался внаём с августа 1828 года, тогда как граф Фикельмон возглавлял австрийское посольство в 1829-1840 годах [2, с. 27, 28]. По мнению Г. Зуева (книга "Течёт река Мойка") австрийское посольство въехало в помещения в 1826 году [3, с. 239], когда его уже возглавлял граф Карл-Людвиг Фикельмон. Причём под Шарлем Луи и Карлом Людвигом подразумевается один и тот же человек, так как его супругой все дружно называют Дарью Фёдоровну Фикельмон, внучку М. И. Кутузова.
Северная часть здания была отведена под парадную резиденцию посольства. В комнатах южной стороны жила супруга посла Долли (Дарья Фёдоровна). Её любимым помещением в доме Салтыковых стал Малиновый кабинет. Вот как она писала о нём:
В доме Салтыковых было более ста комнат. Отдельные апартаменты с середины 1831 года занимала мать хозяйки, любимая дочь Михаила Илларионовича Кутузова Елизавета Михайловна Хитрово со своей старшей дочерью Екатериной. В 1833 году Екатерина стала фрейлиной императрицы и поселилась в Зимнем дворце.
Дарья Фёдоровна и Елизавета Михайловна имели свои салоны. Иногда Елизавета Михайловна принимала гостей в комнатах своей дочери. Иногда здесь устраивались музыкальные вечера. Частыми гостями в этом доме были П. А. Вяземский, А. И. Тургенев, В. А. Соллогуб, В. А. Жуковский и А. С. Пушкин. Поэт симпатизировал молодой хозяйке, что не нравилось её матери. Расположение комнат дома напоминает комнаты старой графини в "Пиковой даме". Такое сходство заметил исследователь Н. А. Раевский [Там же]. Последний раз Пушкин был здесь 7 января 1837 года, незадолго до дуэли с Дантесом. П. А. Вяземский вспоминал:
Парадные комнаты австрийского посла находились на третьем этаже. Центральным помещением второго этажа является Белый зал. Его убранство сохранилось до наших дней. Рядом с ним находились парадная столовая и "вечерняя зала". По другую сторону Белого зала были большая гостиная, малая и угловая комнаты (тот самый малиновый кабинет).
Елизавета Михайловна скончалась в доме Салтыковых 3 мая 1839 года. В 1843-1844 годах перестройку помещений в доме Салтыковых производил архитектор Г. Э. Боссе.
Фикельмоны прожили в доме Салтыковых девять лет. Потом их отозвали в Австрию, но до 1855 года помещения оставались за австрийским, затем за австро-венгерским посольством. За это время архитектор Н. И. Байер переделал фасад со стороны Марсова поля, надстроил поперечный флигель вдоль внутреннего двора.
В 1855 году здание начало снимать датское посольство. В 34 комнатах третьего и четвёртого этажей поселился датский посол барон Отто Плессен. Спустя два года архитектор В. Е Стуккей вновь переработал южный фасад и создал галерею внутри двора. Датчане не смогли долго оплачивать дорогую аренду. В 1863 годю сюда въехало посольство Великобритании. В 1881 году архитектором К. И. Лоренценом был расширен корпус по Миллионной улице.
В начале XX века английским послом в Петербурге был известный дипломат и мемуарист Дж. Бьюкеннен. Он с супругой занимал примерно те же комнаты, где до них обитали Фикельмоны. На английскую разведку работали писатели Герберт Уэллс, Честертон, Уолпол. Они жили в доме Салтыковых или бывали здесь с важными поручениями. С. Моэм писал, что получил в посольстве огромную сумму денег. Он должен был помогать меньшевикам в покупке оружия и подкупать печать, дабы держать Россию в войне [1, с. 155].
Перед 1917 домом хозяевами дома были князь Иван Николаевич Салтыков, княгиня Анна Николаевна Львова, княгиня Серафима Анатольевна Ливен и княгиня Елизавета Николаевна Оболенская. Сами они здесь не жили, продолжали сдавать особняк в наём иностранным посольствам.
Иностранные миссии покинули дом Салтыковых весной 1918 года, переехав в Вологду. Здесь оставались консулы и другие сотрудники посольства. В середине марта 1918 года по договорённости с Анной Сергеевной Салтыковой шведская миссия в квартире третьего этажа со стороны Марсова поля организовала убежище для немецких военнопленных.
31 августа того же года в особняке случилась перестрелка между прибывшими сюда десятью сотрудниками ЧК и работниками посольств. Обыск посольства Великобритании был спровоцирован убийством председателя петроградской ЧК. В результате погибли английский военно-морской атташе Френсис Кроми и один из чекистов. Всего в здании было задержано около 40 человек.
Окончательно британское посольство выехало из особняка после перевода русской столицы в Москву. Особняк был национализирован. Здесь работал Институт внешкольного образования и другие различные учреждения. В 1925 году в доме Салтыковых открылся Коммунистический политико-просветительский институт имени Н. К. Крупской (впоследствии Ленинградский Библиотечный институт). В 1999 году институт был преобразован в Санкт-Петербургский Государственный Университет Культуры и Искусства. С соседним домом Бецкого, который с 1960-х годов также принадлежит университету, он соединён внутренними переходами.