С начала XVIII века этим участком на Английской набережной владели князь В. П. Хованский, его сын А. В. Хованский, английские купцы Генрих Глаузинг, Фома Боннар, Генрих Томсен. Для последнего в 1850-1851 годах находящийся на набережной особняк перестраивал архитектор Людвиг Людвигович Бонштедт.
В 1852 году особняк купил Иван Дмитриевич Асташев, открывший золотые прииски в Восточной Сибири. Покупка обошлась ему в 110&mnsp;000 рублей, в то время, когда дом на набережной стоил 20 000. Такую цену пришлось заплатить в том числе и за погреб с винами столетней выдержки. После Ивана Дмитриевича домом владел его сын генерал-майор Вениамин Иванович, для которого здание перестраивал архитектор Георг Фёдорович Гросс. Существующий сейчас здесь дом был построен в 1888 году по проекту инженера-полковника Владислава Михайловича Карловича. Тогда же им был построен и надворный флигель.
В 1890-х годах для своей второй жены, Любовь Александровны, особняк купил Павел Павлович фон Дервиз. Здесь она жила со своими детьми Любовью, Варварой, Павлом, и сыном мужа от первого брака Владимиром. В 1907-1910 годах одну из квартир в дворовом флигеле снимал Александр Александрович Блок (боковой флигель со стороны Галерной улицы, ныне квартира №41). До 1917 года здесь же размещалась редакция газеты "Биржевые ведомости". В 1916 году участок перешёл А. К. Наумовой.
После 1917 года особняк был национализирован. Квартиры были переоборудованы в коммунальные.
