До середины XVIII участок дома №36 на Моховой улице принадлежал купцу А. М. Дроздову, далее - купцу Ф. Л. Светинину. В 1820 году участок приобрела Н. В. Муравьёва, при которой в 1825 году был отделён участок дома №34. Для Муравьёвой был построен двухэтажный каменный дом.
В 1874 году дом выкупил граф Н. С. Строганов. В 1902-1903 годах по проекту Е. Р. Баха здесь было построено новое здание. После смерти графа в 1906 году особняк перешёл его дочери. С 1914 года дом продали Н. А. Хариной, жене генерал-майора И. Н. Харина. До этого Харин жил здесь же, в 34 комнатах (квартиры 1, 2, 3, 5).
С 1919 года в доме №36 разместилось издательство "Всемирная литература", возглавляемое М. Горьким. В издательстве работали А. А. Блок, К. И. Чуковский, А. Н. Тихонов, Е. И. Замятин, А. А. Ахматова. В марте 1919 года здесь торжественно отмечалось 50-летие Горького (сам юбилей произошёл в 1918 году). В 1920 году редакцию издательства посетил Г. Уэллс.
В 1947 году особняк был передан Центральному музыкальному техникуму. Здесь он находится и в настоящее время. Среди его выпускников числятся В. П. Соловьёв-Седой, Н. В. Богословский, Г. В. Свиридов.
