Участок дома №21 на Университетской набережной осенью 1721 года указанием Петра I был отдан для строительства образцового дома архитектора Доменико Трезини. Спустя два года началось строительство, а к концу 1720-х годов здесь было возведено двухэтажное здание с высоким крыльцом, балконом на уровне второго этажа и мезонином в три окна. Фасад был оформлен в стиле петровского барокко. Проект дома по всей видимости был выполнен самим Трезини, за строительными работами следили архитектор С. ван Звитен, затем М. Г. Земцов. Известно, что Трезини жил не здесь, а в доме на 2-й линии Васильевского острова. После смерти зодчего дом на берегу Невы перешёл его вдове и детям.
Во второй половине XVIII - первой трети XIX веков были построены дворовые жилые и хозяйственные флигели. Дом неоднократно перепродавался и менял своих владельцев. При полковнике Ф. В. Смирнове участок был соединён с соседней территорией дома №19, в 1820-х годах их вновь разделили. В следующем десятилетии по проекту И. К. Лаутера мезонин был превращён в полноценный третий этаж, фасад оформили в стиле безордерного классицизма. Окнам второго этажа придали арочное очертание, над ризалитом устроен аттик. В 1848-1849 годах, когда домом №21 владела купчиха Мария Александровна Терешина, фасад здания обогатили деревянными пилястрами. Среди жителей дома №21 в 1840-х годах был видный петербургский архитектор Г. Э. Боссе, в 1860-х годах - член Адмиралтейского совета вице-адмирал С. С. Нахимов (брат известного полководца).
По заказу владельца дома Е. И. Клочкова в 1871-1873 годах архитектором Х. И. Грейфаном дом №21 снова был перестроен. Помещения лицевого корпуса получили лепное оформление, в некоторых комнатах установили камины. Главный фасад был оформлен рустом, он приобрел эклектичный облик. Окна второго этажа снова стали прямоугольными. Тогда же со стороны Академического переулка был построен новый флигель (дом №4).
В 1949 году облик здания снова изменился. Он вновь стал оформлен в классическом стиле.
