Дом № 19 по Литейному проспекту построен в 1804 году. Первым его владельцем стал инженер полковник Христиан Иванович Трузсон. Участок земли для застройки он выкупил у генерал-лейтенанта Б. И. Меллера, управляющего Колыванскими рудниками. После смерти Х. И. Трузсона домом владели его наследники. в 1840-м его приобрёл князь А. К. Любомирский.
Семья Любомирских решила перестраивать здание, но отказалась от задуманного и продала дом князю Петру Александровичу Урусову. Он осуществил перестройку по проекту Льва Францевича Вендрамини к 1848 году. К 1858 году особняк перешёл к племяннику князя, графу Алексею Ивановичу Мусину-Пушкину.
Граф Алексей и его брат Александр были друзьями детства Льва Николаевича Толстого, который сделал их прототипами братьев Ивиных в повести "Детство". После смерти графа домом владела его вдова княгиня Любовь Александровна Кушелева-Безбородко. После революции всё имущество Мусиных-Пушкиных национализировали, в том числе и особняк.
Фасад здания по второму этажу украшен парами ангелов. Они держат свитки, на которых в советское время были серпы и молоты со звездой. А изначально свитки несли на себе родовой герб графов Мусиных-Пушкиных.
