Дворец на Литейном проспекте (дом №42) был построен для Зинаиды Ивановны Юсуповой. Сюда она переехала после смерти мужа из дворца на Мойке, который остался её сыну. Проект нового особняка был поручен Л. Л. Бонштедту, строительство велось с 1852 по 1858 год. Фасад здания был облицован гатчинским песчаником, декоративные элементы фасада были выполнены из бременского песчаника, специально привезённого из Германии. Эти работы выполнила мастерская Трискорни.
Особняк Зинаиды Ивановны Юсуповой сразу же привлёк внимание петербуржцев. Жуковский писал о нём:
Не менее богатыми здесь были и интерьеры. Особенно выделялись Библиотека, Портретный и Концертный залы, Большая столовая, Зимний сад.
В 1861 году Зинаида Ивановна снова вышла замуж, им стал французский дворянин Луи Карл Оноре граф де Шово. Вскоре она уехала на родину мужа, где скончалась, оставив дворец в наследство своему правнуку Феликсу Феликсовичу-младшему.
В 1908 году здание было отдано в аренду Театральному клубу при Союзе драматических и музыкальных писателей. Во время Первой мировой войны здесь работал госпиталь. После 1917 года - Польский дом просвещения имени Ю. Ю. Махлевского, с 1934 года - Дом политического просвещения.