На участке дома №29 по улице Чайковского с 1750-х годов находилось два дома, один из которых принадлежал прадеду А. С. Пушкина - Абраму Петровичу Ганнибалу, "арапу Петра Великого". В 1759 году он поселился в Санкт-Петербурге, по всей видимости по этой причине и приобрёл здесь дом, где поселился со своей большой семьёй. После смерти Абрама Петровича в 1781 году участок перешёл во владение его сыновей. Пётр и Исаак уступили право владения им Ивану Абрамовичу за 4 000 рублей. Однако, пребывая в Санкт-Петербурге, они жили именно здесь.
После смерти Ивана Абрамовича в 1801 году новым хозяином дома стал сенатор Иван Николаевич Неплюев, владевший тогда домом №1/6. Далее участком владела его дочь, для которой два отдельных корпуса в 1832 году были перестроены в один по проекту К. Ф. Лемана.
17 июня 1855 года дом выкупил князь Пётр Никитич Трубецкой. Для нового хозяина архитектором Г. Э. Боссе здание в течение двух лет перестраивалось, было расширено влево. Вскоре Трубецкой женился на Елизавете Эсперовне Белосельской-Белозерской. Эта дама желала устроить здесь великосветский салон, однако приобрести такую известность их дому не удалось. Мало того, из-за больших финансовых трат князь был вынужден сдавать особняк внаём. Дом снимали английский посол Непир, итальянское посольство.
В 1874 году дом приобрёл зять князя Павел Павлович Демидов (наследник огромного наследства), носивший не признанный в России титул Сан-Донато. В следующем году Демидов перепродал участок Василию Львовичу Нарышкину.
Для Нарышкиных особняк перестраивал Р. А. Гедике. Стены Парадной лестницы украсили живописные полотна, созданные П. В. Галланом в 1877 году. Во дворе сохранялся сад, а вдоль Кирочного (ныне Друскеникского) переулка были построены новые служебный корпуса. Здесь архитектором был создан большой зал на 200-250 человек. Василий Львович Нарышкин был женат на княжне Февронье Орбелиани, его сын женился на дочери Сергея Юльевича Витте.
После 1917 года хозяева особняка уехали из России. Здание передавалось от одной организации к другой. Здесь сохранялось большое количество художественных ценностей, которые в 1920 году были перевезены в Эрмитаж. Часть картин была передана Русскому музею.
