Дом №39 на Литейном проспекте построен в 1841-1845 годах для штаб-ротмистра Ивана Васильевича Пашкова. Автор проекта здания - архитектор Гаральд Эрнестович Боссе. Этот одна из первых его работ, к тому же сохранившая внешний фасад и большую часть интерьеров.
Фасад дома И. В. Пашкова решён Боссе в стиле, сочетающем элементы классицизма и неоренессанса. В начале 1840-х годов петербургские архитекторы постепенно начали одевать петербургские здания в эклектичные фасады, это здание стало одним из первых примеров новой моды. Впервые в столичной архитектуре фасад жилого здания был оформлен сочетанием открытой кирпичной кладки и штукатурных деталей.
Планировка дома Пашкова сохранилась благодаря публикации его поэтажных планов в журнале "Зодчий" за 1882 год. По сторонам от располагающегося в центре вестибюля были устроены две сдававшиеся внаём квартиры. На втором этаже находились парадные залы и комнаты владельцев.
Для оформления интерьеров Боссе использовал греко-ренессансные мотивы, английский ренессанс, рококо, "византийский" и "мавританский" стили. В Бильярдной сохранилась первоначальная "помпейская" роспись фриза и потолка, стенные панно были воссозданы в 1979 году по оставшимся фрагментам. Тогда же было восстановлено убранство стен в Ванной и Туалетной. В Столовой сохранился большой резной буфет-горка.
В 1848 году новый владелец здания граф А. Ф. Орлов сдал его внаём Благородному танцевальному собранию. Спустя восемь лет у Орлова дом выкупила казна для размещения в нём Департамента уделов. С тех пор у входа в это здание можно было наблюдать сцену, описанную Н. А. Некрасовым в стихотворении "Размышления у парадного подъезда".
