Первое трёхэтажное здание на участке дома №18 на набережной Кутузова было построено в 1770-х годах. В 1784-1788 годах здесь помещалась первая в России театральная школа.
В 1816 году участок приобрела графиня В. П. Шувалова, после неё им владел граф А. И. Апраксин, а с 1835 года - бывший министр полиции и петербургский военный губернатор Александр Дмитриевич Балашов. После смерти Балашова его наследники здесь не жили, сдавали помещения в наём. В 1885 году они продали здание графу С. В. Орлову-Давыдову. Для него в 1885-1886 годах по проекту Н. В. Дмитриева дом был перестроен, приобрёл существующий по настоящее время облик.