Участок дома №34 на Моховой улице был отделён от участка дома №36 в 1825 году. При владении им полковницей Е. И. Белозёровой здесь находился двухэтажный дом.
С середины 1830-х годов участок принадлежал жене статского советника Д. П. Квашниной-Самариной. В 1838 году в этот дом часто приходил М. Ю. Лермонтов. Здесь снимала квартиру Е. А. Столыпина, у которой жила её сестра Е. А. Верещагина с дочерью. У Александры Верещагиной и гостил поэт. На третьем этаже в 1838 году снимал квартиру Дмитрий Сушков, также друг Лермонтова. У Сушкова гостила его кузина Екатерина Сушкова. Лермонтов, очарованный Екатериной, долгое время добивался её взаимности. Но преуспел в этом только тогда, когда к ней охладел. Историю этих отношений поэт отразил в романе "Княгиня Лиговская".
В 1844 году для очередного владельца участка графа Н. Д. Зубова архитектором Р. И. Кузьминым здесь было построено новое трёхэтажное здание с балконом на втором этаже. Далее домом владел сын графа Н. Н. Зубов.
В 1873 году участок стал принадлежать коммерции советнику В. А. Кокореву, известному предпринимателю и меценату. Недвижимость он скупал ради перепродажи, в ноябре 1874 года владельцем участка стал граф В. А. Стенбок-Фермор. В 1875 году фасад дома архитектором К. К. Вергеймом был украшен крупной рустовкой.
После смерти графа Стенбок-Фермора дом принадлежал его дочери Н. В. Безобразовой, жене генерала от кавалерии. В 1902 году по желанию дочери графа архитектором А. И. Владовским здесь было начато строительство нового здания. Во время строительства обвалились бетонные своды, в чём был обвинён архитектор. Проект Владовского к 1904 году завершили архитектор Ю. Ю. Бенуа и гражданский инженер К. И. Стрегулин. Фасад особняка Стенбок-Фермора по желанию заказчика стал богато украшен. На эркере изображён фамильный герб, над одним из окон - вензель "НБ".
В 1914 году из-за финансовых затруднений здание было продано в казну, здесь разместилась Канцелярия совета министров и казённая квартира премьер-министра. В ней в разное время жили И. Л. Горемыкин, А. Ф. Трепов, Н. Д. Голицын. В 1920-х годах в доме №34 располагался Польский педагогический техникум. В середине 1930-х годов здесь начала работу Школа актёрского мастерства. С 1932 года она называлась Театральным институтом, с 1962 года - Институт театра, музыки и кинематографии; с 1990-х - Академия театрального искусства. В Академии преподавали Л. С. Вивьен, Н. П. Акимов, В. В. Меркурьев, Г. А. Товстоногов. Здесь учились Н. К Черкасов, А. И. Райкин, И. П. Зарубина.
