Участок, где располагается дворец Белосельских-Белозерских, равно как и другие участки на берегу реки Фонтанки, в начале XVIII века был передан для освоения знатным вельможам. Сначала им владел сенатор, князь А. И. Шаховской. При Екатерине II его владельцем был директор Ассигнационного банка сенатор П. В. Мятлев. Некоторое время хозяином участка являлся сенатор И. А. Нарышкин.
В 1797 году у Нарышкина участок приобрела княгиня Анна Григорьевна Белосельская-Белозерская. Она была второй женой князя Александра Михайловича Белосельского-Белозерского, на приданное которой эта семья и приобрела дом Нарышкина, а в 1803 году у потомков Разумовских - Крестовский остров. В 1799-1800 годах по проекту Ф. И. Демерцова здесь был построен новый дом в стиле классицизма, главный фасад которого выходил на Невский проспект.
Со временем этот особняк перестал устраивать владельцев. Он стал казаться неудобным, а скромный классический фасад - не соответствующим их высокому положению в обществе. Новый дворец Белосельских-Белозерских было поручено проектировать архитектору Андрею Ивановичу Штакеншнейдеру.
Разработка проекта велась в 1840-1841 годах. Строительство осуществлялось в 1846-1848 годах, в результате чего были перестроены выходящие на Невский проспект и Фонтанку корпуса, возведены два новых флигеля во дворе. Фасады дворца Белосельских-Белозерских были выполнены в стиле барокко, что стало первым примером применения этого стиля в Петербурге XIX века. По всей видимости, прототипом здания стал Строгановский дворец, располагающийся на углу Невского проспекта и реки Мойки.
Терракотовые фигуры атлантов на фасаде, атланты и кариатиды внутри помещений были выполнены по моделям скульптора Д. И. Иенсена.
Большинство залов были оформлены в стиле рококо. Анфиладу залов второго этажа вдоль Фонтанки начинает Малиновая гостиная. Её окна выходят как на реку, так и на проспект. Далее расположились Зелёная гостиная и Приёмная. Приёмную украшает живописное панно "Праздник Венеры" и изготовленная на фабрике Ф. Мельцера мебель. Анфилада вдоль Невского проспекта начиналась Гостиной и Парадной столовой. Далее располагалась картинная галерея, в ХХ веке приспособленная под фойе концертного зала. Двусветный концертный зал при первых владельцах представлял из себя два отдельных помещения. Из фойе можно было попасть в Театральный зал.
На первом этаже частично сохранились Приёмная, Кабинет и Столовая. Хорошо сохранилась Парадная лестница.
Заказчик строительства князь Эспер Александрович Белосельский-Белозерский умер от тифа 15 июня 1846 года. Он так и не поселился в новом дворце. Его вдова Елена Павловна занималась перестройкой парадных залов и дворовых хозяйственных флигелей. В это время здесь был проведён водопровод. Деревянную торцевую мостовую напротив дворца Белосельских-Белозерских заменили мостовой из "бруснинского камня", у парадного подъезда устроили чугунный навес.
Елена Павловна достаточно скоро после смерти супруга вновь вышла замуж за князя Василия Викторовича Кочубея. Дворец Белосельских-Белозерских в это время перестраивался, семья обитала в особняке на Литейном проспекте.
Дворец Белосельских-Белозерских Елена Павловна использовала для проведения балов и светских вечеров. Из-за его соседства с императорским Аничковым дворцом на балы часто наведывались царские особы. Иногда они устраивались только для семьи императора. Эти мероприятия особенно нравились Александру III, который не жаловал официальные балы. Супруга императора готова была танцевать до утра, а он сам в это время играл в вист. Для того, чтобы завершить бал, Александр III под различными предлогами по одному вызывал музыкантов до тех пор, пока играть уже было некому. Только после этого он подходил к супруге и вместе с ней удалялся из дворца.
Дворец Белосельских-Белозерских был известен не только балами, но и музыкальными вечерами. Здесь выступали Ференц Лист, Антон Рубинштейн. В качестве слушателя на вечерах присутствовал Пётр Ильич Чайковский.
В 1880-х годах капитал князей Белосельских-Белозерских стремительно сокращался, их предприятия работали в убыток. Для раздачи долгов в 1884 году дворец Белосельских-Белозерских был продан великому князю Сергею Александровичу. Тот приобрёл это здание по случаю женитьбы на Елизавете Гессен-Дармштадтской (Елизавете Фёдоровне). Князь Кочубей же переехал в свой особняк на Крестовском острове, куда перевёз часть ценностей из дворца на Невском проспекте.
С тех пор дворец Белосельских-Белозерских стал называться Сергиевским. Для новых владельцев ряд помещений был переделан. Театральный зал по проекту Р. Ф. Мельцера переоборудовали в Библиотеку.
В 1891 году Сергей Александрович стал генерал-губернатором Москвы, переехал туда с женой. В 1894 году перед бракосочетанием с Николаем II здесь жила принцесса Алиса, будущая императрица Александра Фёдоровна. В 1899 году Сергеем Александровичем был приобретён соседний дом №43/1, перестроенный для нового владельца в 1900 году архитектором А. В. Кащенко. 4 февраля 1905 года в результате покушения великий князь был убит. Его вдова на свои средства организовала в Москве Марфо-Мариинскую обитель, стала её настоятельницей. Петербургский дворец Елизаветой Фёдоровной был передан племяннику и воспитаннику великого князя Дмитрию Павловичу. Своих детей у Елизаветы Фёдоровны и Сергея Александровича не было.
Во время Первой мировой войны великий князь Дмитрий Павлович предоставил дворец Белосельских-Белозерских англо-русскому лазарету. Для его нужд были выделены пять самых больших залов (в том числе концертный зал, картинная галерея). В 1917 году из-за участия в убийстве Распутина великому князю пришлось уехать из России. Дворец Белосельских-Белозерских был приобретён банкиром и промышленником И. И. Стахеевым.
В 1918 году дворец Белосельских-Белозерских был национализирован. Во дворце разместились курсы Красной пропаганды. Вместе с Аничковым дворцом здание передавалось Музею города. Но в конце 1919 года часть помещений была передана районному комитету комсомола, а в 1920 году - районному комитету партии Центрального, а затем Куйбышевского района. Комитеты занимали лишь часть здания. Другие помещения сдавались в аренду различным организациям. В конце 1920-х годов здесь был проведён косметический ремонт.
В 1941 году здесь формировались отряды народного ополчения. Во время ленинградской блокады дворец Белосельских-Белозерских значительно пострадал. В 1948-1949 и 1954 годах его восстановили и отреставрировали. В 1960-1988 годах воссоздавались утраченные интерьеры. Этими работами руководила И. Н. Бенуа. Сюда начали водить экскурсии, которые с 1978 года могут посетить все желающие. С 1989 года во дворце даются концерты.
В 1991 году дворец Белосельских-Белозерских получил официальный статус Петербургского культурного центра. Здесь выступает Академический симфонический оркестр под руководством Р. Мартынова, проводятся выставки, действует экспозиция восковых фигур. С 1990-х годов помещения дворца сдаются в аренду коммерческим организациям. Некоторые из них занимает Комитет по туризму и развитию курортов, Городской туристско-информационный центр. В 2001-2002 годах был отреставрирован фасад здания. В 2004-2005 годах - парадная лестница, картинная галерея и дубовый зал.
