В 1712 году Санкт-Петербург стал столицей России. Петром I сюда стали переселяться знатные люди, среди которых был генерал-фельдмаршал граф Борис Петрович Шереметев. Именно ради такого переселения ему был пожалован участок дома №34 на набережной реки Фонтанки. Пётр дарил здесь землю для того, чтобы новые владельцы её обустраивали, таким образом облагораживая этот район Санкт-Петербурга. Кроме того, государь женил графа на своей родственнице А. П. Нарышкиной.
Участок Шереметева простирался прямо от берега Фонтанки вплоть до трассы будущего Литейного проспекта. При Борисе Петровиче здесь был построен деревянный дом и различные служебные постройки, семья жила в своём доме на Дворцовой набережной (на его месте впоследствии был построен Ново-Михайловский дворец). В конце 1730-х - начале 1740-х годов для сына Бориса Петровича Шереметева Петра на месте старых деревянных корпусов был построен новый одноэтажный дворец. Его проектировал архитектор Земцов.
В начале 1750-х годов по проекту С. И. Чевакинского и Ф. С. Аргунова это здание было надстроено вторым этажом. С Чевакинским граф Шереметев расплачивался за эту работу в 1751 году парой гнедых лошадей, а через ещё два года - 100 рублями [1].
Шереметевский дворец расположился в глубине участка, а парадный двор от набережной отделила металлическая ограда. По краю крыши первоначально шла деревянная балюстрада со статуями на тумбах. В центре здания располагалось высокое двухпролётное крыльцо с двумя входами, по которому можно было попасть сразу на второй этаж. У подъезда в 1759 году были установлены на пьедесталах две деревянные позолоченные фигуры коней авторства Иоганна Франца Дункера.
После смерти жены и дочери граф Пётр Борисович в 1768 году переехал в Москву. Несмотря на отсутствие хозяев, усадьба продолжала перестраиваться. В 1788-1792 годах она сдавалась в наём португальскому посланнику, а затем князю В. Б. Голицыну.
После смерти Петра Борисовича усадьба перешла к его сыну Николаю. Долгое время Николай Петрович проводил в Москве, однако в конце 1790-х годов он стал регулярно жить в столице. Для обновления интерьеров своего дворца он нанимал архитектора И. Е. Старова. В 1796 году граф поселился в Фонтанном доме. У Шереметевых здесь был свой театр, оркестр. Исполнителями были наиболее талантливые люди из крепостных. В 1801 году Николай Петрович женился на одной из таких крепостных, Прасковье Ивановне Ковалёвой. После Старова помещения во дворце перестраивались Д. Кваренги и А. Н. Воронихиным. На территории усадьбы были построены Летний дом, Каретные сараи, Садовый павильон, перестраивались служебные флигели.
После смерти Николая Петровича 2 января 1809 года усадьба перешла его шестилетнему сыну Дмитрию Николаевичу. По инициативе императрицы Марии Фёдоровны над имуществом Шереметевых был создан Опекунский совет. Главным попечителем был назначен М. И. Донауров, чья семья поселилась во дворце. В 1811-1813 годах по проекту Х. Мейера на месте Оранжереи выходящей на Литейный проспект был построен Канцелярский флигель и примыкавший к нему Больничный флигель. В 1821 году архитектором Д. Квадри построен трёхэтажный с главным фасадом на Фонтанку Фонтанный флигель. Между ним и Больничным флигелем был построен Певческий флигель. Здесь были поселены хористы шереметевской капеллы.
В период службы Дмитрия Николаевича в Кавалергардском полку во дворце часто гостили его сослуживцы. Офицеры часто пользовались гостеприимством графа, в полку даже появилось выражение "жить на шереметевский счёт". Среди гостей здесь часто бывал художник О. А. Кипренский. Летом 1827 года сюда приходил Александр Сергеевич Пушкин, в мастерской дворца Кипренский написал его самый известный портрет. 18 апреля 1837 года в Шереметевском дворце состоялась свадьба графа с фрейлиной императрицы Александры Фёдоровны Анной Сергеевной. В 1844 году у них родился сын - Сергей.
Почти двадцать лет на Шереметевых работал архитектор И. Д. Корсини. 16 мая 1838 года состоялось торжественное открытие чугунной ограды с воротами, украшенными гербом графов Шереметевых. Корсини были полностью перестроены дворцовые помещения, в 1845 году построен Садовый флигель. В Фонтанном доме устраивались музыкальные вечера. Здесь выступали Глинка, Берлиоз, Лист, Вильегорский, Шуберт.
В 1849 году умерла графиня Анна Сергеевна. В 1857 году Дмитрий Николаевич вступил в новый брак, в 1859 году в котором родился сын Александр. Началась новая перестройка усадьбы. В 1867 году ко дворцу по проекту Н. Л. Бенуа был пристроен Северный флигель.
После смерти графа Дмитрия Николаевича в 1871 году произошёл раздел имущества между его сыновьями Сергеем и Александром. Фонтанный дом достался Сергею Дмитриевичу. В 1874 году в имении Шереметевых работал архитектор А. К. Серебряков, построивший здесь новые пятиэтажные корпуса. В результате участок был поделён на две части. Со стороны Литейного проспекта были построены доходные дома (№51), парадная часть осталась со стороны Фонтанки (дом №34). В начале ХХ века закончены работы по переустройству доходной части участка. Были уничтожены Садовые ворота, Грот, Эрмитаж, Оранжерея, Китайская беседка и другие садовые постройки. В 1908 году Манеж и Конюшни перестроили в Театральный зал (ныне Драматический театр на Литейном). В 1914 году по проекту М. В. Красовского здесь были построены двухэтажные торговые павильоны.
В 1917 году семья Шереметевых передала дом во владение Советской власти. С середины 1924 до 1952 года в одном из флигелей дворца жила А. А. Ахматова. Здесь в 1989 году, в честь столетия поэтессы открылся её музей. Именно Ахматова в своих стихах дала второе название дворцу - "Фонтанный дом".
В советское время во дворце находился Арктический и Антарктический научно-исследовательский институт. С 1990 года здесь расположен филиал музея театрального и музыкального искусства. В 1999 году после реставрации во дворце был открыт Белый концертный зал, где проводятся концерты классической музыки.
5 марта 2006 года, в сороковую годовщину смерти А. А. Ахматовой у дворца Шереметевых открыли её памятник.
