До конца XIX века участком дома №5 по Каменноостровскому проспекту владели различные хозяева, здесь стояли деревянные постройки.
В апреле 1898 года городская управа дала разрешение очередному хозяину участка К. Ф. Штрембергу построить здесь каменный трёхэтажный дом. Проект здания выполнил архитектор Эрнест Францевич Виррих.
Летом 1898 года землю выкупила М. И. Витте, жена одного из известнейших политических деятелей царской России Сергея Юльевича Витте. Сюда он переехал в 1903 году из квартиры на наб. р. Мойки (дом №45) после отставки с поста министра финансов с назначением на пост председателя Комитета министров. В 1904 году работы над особняком были закончены уже для семьи чиновника.
Накануне Кровавого воскресенья 1905 года в особняк к Витте приходила делегация. Один из её участников, М. Горький предупреждал Сергея Юльевича, что "если прольётся кровь народная, правящие круги дорого заплатят за это". В этот же день на приём к Витте приезжал управляющей Палатой мер и весов Д. И. Менделеев. Предотвратить Кровавое воскресение так и не удалось.
С 1907 года начались покушения на С. Ю. Витте со стороны черносотенной организации "Союз русского народа". 29 января 1907 года в дымовые трубы особняка активисты этой организации спустили две бомбы. Но снаряды на сработали. Четыре месяца спустя попытку покушения повторили, вновь неудачно.
26 февраля 1915 года С. Ю. Витте скончался в своём доме из-за болезни.
После революции в особняке работали профилактическая амбулатория и дневной детский санаторий. 14 февраля 1927 года здесь разместился НИИ по охране здоровья детей и подростков. С 1935 года сюда перевели детскую музыкальную школу. Именно эту школу окончил известный скрипач и дирижёр В. Т. Спиваков.
23 июня 1999 года на фасаде особняка установлена мемориальная доска: "Здесь с 1899 по 1915 год жил выдающийся деятель России Сергей Юльевич Витте".
