Первое каменное здание на участке дома №17 по Среднему проспекту появилось в первой трети XVIII веке, было построено когда им владели купцы Ширвановы. В конце XVIII - начале XIX веков участком владел чиновник Я. И. Лосовиков.
В начале XIX века здесь поселилась семья скульптора П. И. Брюлло, в том числе Карл и Александр Брюлло - будущие известные художник и архитектор. Позже они получили фамилию Брюллов.
После смерти П. И. Брюлло домом владел его сын Фёдор, художник, участвовавший в росписи интерьеров Исаакиевского собора. По заказу Фёдора находящееся здесь здание было расширено до границы с участком дома №15. Окна подвала были увеличены, вместо мезонина построен третий этаж.
В 1872-1873 годах новым владельцем архитектором Н. Ф. фон Брюлло дом был перестроен, здание получило существующий сейчас облик. Дом был надстроен четвёртым этажом, расширен по Среднему проспекту до участка дома №19. Изменён фасад.
При реконструкции здания в 1978 году была утрачена отделка интерьеров. Сохранилась лишь датировка на полу вестибюля: "1873".
