В 1720-х годах этот участок на Английской набережной принадлежал майору Ивану Полянскому. В конце 1730-х годов имеющийся здесь каменный двухэтажный дом типового проекта "для именитых" принадлежал его сыну Александру. Он был женат на родной сестре Екатерины Романовны Дашковой графине Елизавете Романовне.
У супругов Полянских было двое детей: Анна и Александр. Александр Александрович Полянский со своей супругой в июле 1803 года принимали здесь сестёр Марту и Катрин Вильмонт. В одном из писем Марта так описала этот дом:
У Александра Александровича и его супруги Елизаветы не было детей. В 1818 году дом отошёл их дальним родственникам Всеволожским. Здесь поселился Никита Всеволодович Всеволожский - чиновник коллегии иностранных дел, близкий друг А. С. Пушкина. От отца он унаследовал огромное состояние. Но ведя чрезвычайно расточительный образ жизни оказался в больших долгах. В 1854 году дом на Английской набережной был продан на аукционе за долги. Никита Всеволодович писал, что дом был продан за бесценок:
Особняк Всеволожских купил Павел Григорьевич фон Дервиз - дворянин, строитель железных дорог, владелец огромного состояния. Вместе с этим домом в 1883 году им на Английской набережной был приобретён и дом №34. После его смерти дом №34 получил по наследству старший сын Сергей. В конце 1880-х вдова Павла Григорьевича Вера Николаевна отписала дом №28 на сына Павла и решила его перестроить. Для этого был приглашён архитектор Александр Фёдорович Красовский. К тому времени он уже много построил для фон Дервизов.
Именно тогда дом фон Дервизов получил флорентийский фасад. Парадные помещения второго этажа зодчий распланировал вокруг парадного двора. На Неву вышла самая эффектная анфилада из Золотой гостиной, Белого и Танцевального зала. Здесь же Красовским была создана Мавританская гостиная, библиотека в стиле английской готики. Среди жилых покоев на бельэтаже особо выделяется библиотека в стиле английской готики.
Парадная лестница особняка фон Дервизов освещается большим витражным окном, расположенным над камином. Этот камин всегда имел только декоративное значение. Плафон Танцевального зала выполнен по эскизу А. В. Трескина в 1959 году. Ранее на его месте находилась работа художника Константина Егоровича Маковского. Библиотека в этом доме схожа с библиотекой в Зимнем дворце. Красовский работал над ними примерно в одно и тоже время.
В марте 1902 года в доме фон Дервизов проходила выставка художественных произведений и миниатюр, организованная императрицей Александрой Фёдоровной. Позже выставка переехала в Зимний дворец.
В 1903 году новым владельцем особняка стал сын великого князя Владимира Александровича Андрей. Князь Андрей Владимирович позже стал известен в том числе благодаря женитьбе на знаменитой балерине Матильде Кшесинской. Судя по всему, он не жил в этом доме, а располагался в полковой квартире. Но здесь собирались члены царской фамилии. Одну из таких встреч описала жена великого князя Павла Александровича княгиня Палей:
Речь на семейном совете шла о предложении Николаю II даровать народу конституцию.
В 1918 году дворец Андрея Владимировича национализировали. Здесь работали различные учреждения. Во время Великой Отечественной войны во дворце работал детский приёмник. Часть помещений занимал госпиталь. После войны здесь работала проектная организация и несколько других учреждений.
1 ноября 1959 года решением исполкома Ленсовета в особняке был открыт первый в СССР Дворец бракосочетания. Эту функцию он выполняет и сегодня. Перед открытием дворца в нём была проведена масштабная реставрация.
