Участок дома №52 по Фурштатской улице в 1780-1810-х годах принадлежал князьям Несвицким. В 1815-1825 годах им владел государственный и военный деятель граф Карл Фёдорович Толь, ученик и ближайший помощник М. И. Кутузова. Его портрет имеется в военной галерее Зимнего дворца. В 1824 году в доме Толя жил декабрист Александр Фёдорович фон Бриген.
Далее участком владели дворянские семьи Бижеич, Преженцовы. В 1892 году его купил архитектор Николай Всеволодович Дмитриев. Здесь он собирался построить новый доходный дом. Но из-за большой занятости составить проект своего дома не успел, а в 1896 году продал участок.
Новым владельцем стал купец Константин Александрович Варгунин. По его заказу в 1896-1899 годах здесь был построен двухэтажный особняк. Архитектором этого дворца стал Александр Иванович фон Гоген. Заказчик внёс свои требования к проекту. Над окнами эркера был оформлен вензель "КВ". В лепном оформлении гостиной (сейчас зала торжественной регистрации) присутствует головы Меркурия - знак купеческой родословной Варгунина. На живописном плафоне изображены фигуры Минервы и Меркурия, олицетворяющие триумф искусства, торговли и промышленности. В. А. Варгунин здесь не жил, местом его жительства был особняк на Знаменской улице (дом №45). Здесь проживал его сын офицер Владимир Константинович с женой.
В 1913 году дворец был продан графу Павлу Николаевичу Игнатьеву. Он был женат на правнучке известного писателя и историка Н. М. Карамзина княжне Наталье Николаевне Мещерской. Как и предыдущий владелец Игнатьев здесь не жил. В 1912-1916 годах в особняке размещалось посольство Испании.
В 1917-1924 годах особняк пустовал, часть убранства была расхищена. В 1924 году здесь устроили 11 коммунальных квартир. В 1930-1950-х годах лицевая часть дворца принадлежала Стоматологическому институту. В 1955-1962 годах здесь работал Учебный комбинат Жилищного управления Горисполкома. Этот комбинат выпускал бухгалтеров, маляров, плотников, водопроводчиков, столяров.
В феврале 1963 года здесь был открыт второй в городе Дворец бракосочетания. В 1980-х годах проводилась научная реставрация здания.
