Первым владельцем участка дома №21 по Кадетской линии был дворянин Семён Челищев. При нём здесь находились только деревянные строения. Каменный трёхэтажный дом с двумя боковыми флигелями был построен на этом месте в начале 1780-х годов для купца Василия Грехова. Въезд во двор был обустроен со стороны Тучкова переулка.
В конце XVIII века территория принадлежала купцу Ивану Билибину, который в 1799 году передал участок своему сыну Якову. Сохранились портреты семьи Билибиных, написанные здесь же художником Дмитрием Левицким, жившем в соседнем доме №23. От Якова Ивановича Билибина дом №21 в 1820-х годах перешёл к жене действительного статского советника Попова.
В 1845 году здание стало принадлежать архитектору Александру Павловичу Брюллову. Новый хозяин реконструировал помещения, пристроил новые дворовые флигели. Двор был им разделён на две части поперечным корпусом. Во дворе располагался парадный вход в дом, там же работал фонтан. На фасаде поперечного дворового флигеля до недавнего времени находилась скульптура Аполлона Мусагета, покровителя муз (сейчас утрачена). Выходящий на Тучков переулок корпус, прежде одноэтажный, стал трёхэтажным, сдавался в наём.
Интерьеры особняка Брюллов оформил в помпейском стиле. Парадная лестница была отделана искусственным мрамором. Лестничную площадку выложили мозаикой из разноцветного мрамора. В её центре расположилось древнеримское приветствие "Salve" - "Здравствуй". От первоначальной отделки до недавнего времени сохранялись камины, лепнина в залах, росписи плафонов.
Александр Павлович, будучи профессором Академии художеств, обитал на служебной квартире на 3-й линии Васильевского острова. Здесь он никогда не жил. В 1870-х годах особняк занимал его сын художник П. А. Брюллов, который тогда был принят в Товарищество передвижных художественных выставок.
На дочери А. П. Брюллова был женат архитектор Павел Юльевич Сюзор. После смерти Александра Павловича в 1877 году Сюзоры переселились в этот дом. С 1903 года здесь работало общество архитекторов-художников, которое посещали многие известные зодчие и живописцы того времени. При обществе была создана "особая комиссия с целью выявления, изучения и защиты памятников старого Петербурга", аналог современного КГИОПа.
В 1907 году здесь был открыт Музей Старого Петербурга. Первоначально он располагался в здании Академии художеств, но по просьбе академиков музей приютил у себя Павел Юльевич Сюзор. Здесь хранились картины и фотографии, архитектурные макеты, подлинники чертежей Растрелли, Кваренги, Камерона, Воронихина, Тома де Томона и других архитекторов. Музей проработал здесь до 1917 года, когда экспонаты перевезли в помещения Эрмитажа. Впоследствии на их основе был организован Музей истории Санкт-Петербурга.
Сюзор прожил здесь до 1919 года, когда здание было реквизировано. В нём разместили коммунальные квартиры. В 1939 году дом №21 реставрировался. После 1945 года здесь работал детский сад, а в 1967 году тут открылась библиотека имени Н. А. Островского.
В настоящее время бывший особняк Брюлловых и Сюзоров находится в запустении.
