Участок дома №16 по 5-й линии и дома №17 по Большому проспекту Васильевского острова изначально являлись единым владением. На углу двух улиц находилось здание, в котором в середине XVIII века жил учёный Г. В. Рихман.
15 января 1858 года в угловом доме педагогом Эмилией Павловной Шаффе была открыта частная женская школа. В 1880-х годах она стала владелицей всего участка, частное учебное заведение приобрело статус гимназии. К этому времени старый дом перестал соответствовать требованиям учебного заведения, было решено строить новое специальное здание.
Женская гимназия Шаффе стала одной из самых известных в Санкт-Петербурге. Здесь учились дочери Д. И. Менделеева (Любовь и Мария), архитектора Бенуа.
Работы по созданию такого дома начались только после смерти основательницы гимназии в 1906 году. Её приёмный сын и наследник инженер-электрик Л. И. Шпергазе заказал архитектору К. К. Шмидту проект здания, что было сделано к декабрю того же 1906 года. Здание гимназии к 1907 году своим лицевым фасадом расположилось на 5-й линии Васильевского острова. На этой стороне дома находятся 6 классов, каждый из которых отмечен тремя окнами. Такой приём размещения тройных окон впоследствии повторялся при строительстве школ в 1920-1930-х годах.
В первом этаже находится вестибюль. Изначально его украшал витраж, изображающий хоровод девушек. К настоящему времени витраж не сохранился. Осенью 1918 года женская гимназия была объединена с мужской - гимназией Карла Мая.
В разное время учениками работающего здесь учебного заведения являлись поэт Вадим Шефнер, композитор Андрей Петров и артист Георгий Жжёнов.
В 1978-1979 годах во дворе гимназии по проекту П. М. Харитонова был построен крытый бассейн. Сейчас в доме №16 по 5-й линии Васильевского острова работают школа №21 и лингвистический центр.
