В XVIII - начале XIX века здесь, на углу Литейного проспекта и Фурштатской улицы находился деревянный дом. В разное время им владели серебряных дел мастер Генрих Блом, майор Сергей Васильевич Татищев.
С 1840-х годов участок выкупила семья князей Долгоруких. В 1843-1844 годах здесь по проекту А. Низовцева для Долгоруких был построен двухэтажный каменный особняк, основные пропорции которого сохранились по настоящее время.
В 1848 году князь Владимир Андреевич Долгоруков продал дом князю Борису Дмитриевичу Голицыну. В начале 1850-х годов для Голицыных был составлен проект надстройки здания третьим этажом, но тогда этот проект не был реализован.
В 1856 году владельцем участка стал граф Карл Васильевич Нессельроде, бывший министр иностранных дел. В 1860-е годы здесь проживала семья купцов Голенищевых. В 1872 году дом купил генерал-лейтенант князь Александр Иванович Шаховский. В 1873 году для нового хозяина под руководством А. А. Бравура преобразовывались интерьеры особняка. В 1886 году здесь, в квартире №1 проживал князь Борис Сергеевич Щербатов (снимал 29 комнат в бельэтаже, 14 комнат для прислуги, сарай и конюшню).
В 1880-х годах здание перестраивалось по проекту А. И. Жоффрио. Эти работы заняли значительные средства владельца, в итоге Шаховский был вынужден дом продать. В июне 1889 года дом перешёл купцу 1-й гильдии Александру Дементьевичу Иванову. Наследники ювелира Иванова владели этим зданием до 1917 года.
После 1917 года здесь были устроены коммунальные квартиры.
В 1980-х годах здание капитально ремонтировалось. В результате этого ремонта были утрачены образцы отделки 1870-х годов: росписи, лепка, дубовые потолки, узорные паркеты. Коммунальные квартиры были расселены, жильцы переехали в новостройки. В 1992 году проходила реставрация интерьеров, здание было построено практически заново. В мае 1998 года здесь открылся культурно-развлекательный центр "Олимпия", трёхзальный ресторан. В конгресс-холле "Олимпии" проходят концерты, симпозиумы, конференции.
