В начале XIX века в доме №9 на углу Потёмкинской и Фурштатской улиц размещался литературный салон Софьи Дмитриевной Пономарёвой. Его посещали Н. Гнедич, А. Дельвиг, Е. Баратынский, В. И. Панаев, И. Крылов, К. Рылеев.
Этот дом был перестроен в 1830-х годах, неоднократно перепродавался. В 1840-1850-х годах на этом участке находилось два отдельных здания. На углу стоял трёхэтажный дом, со стороны Потёмкинской улицы - двухэтажный. Между ними находился деревянный забор, во дворе находились различные хозяйственный постройки. В 1866-1875 годах здесь жил писатель Н. С. Лесков.
В 1903 году участок перешёл старшему сыну знаменитого врача профессора С. П. Боткина - Сергею Сергеевичу Боткину. Для нового хозяина в 1903-1906 годах по проекту А. И. Дитриха здесь был построен новый особняк. По желанию заказчика здание было выстроено в стиле петровского барокко. Сергей Сергеевич был известен как любитель искусств, коллекционер. В его доме находилось большое собрание рисунков, акварелей. Его жена Александра Павловна была дочерью основателя Третьяковской галереи в Москве.
В доме Боткиных проживали их близкие друзья семья Олив. Они также владели большой художественной коллекцией.
В 1918 году три квартиры в особняке Боткина были национализированы, здесь открыли музей. В начале 1921 года в квартирах Боткиных и Олив была открыта выставка XVIII века с картинами Робера, Буше, Левицкого, Щукина и других. В 1924 году музей был закрыт, имущество передано в Эрмитаж.
В 1927-1965 годах здесь жил народный артист СССР Владимир Ростиславович Гардин. В 1968 году на фасаде дома была установлена напоминающая об этом памятная доска.
