В начале XIX века на участке дома №104 по Невскому проспекту находился двухэтажный каменный дом. В 1828 году для купчихи В. В. Фроловой архитектор А. З. Комаров надстроил его третьим этажом. Позже участок перешёл к купцу Неслинду.
В 1877 году архитектор И. И. Григорьев надстроил дом №104 четвёртым этажом для жены генерал-майора Е. С. Щербатовой. На рубеже XIX и XX веков здание у надворного советника Б. П. Вульфсона приобрёл потомственный почётный гражданин А. И. Груздев. В 1902 году для него архитектор Н. А. Мельников, сломав прежние строения, застроил внутренний двор. В 1903 году им был построен новый четырёхэтажный лицевой дом.
В 1908-1911 годах здесь находился организованный В. М. Бехтеревым Психоневрологический институт. При нём в 1909 году впервые в мире был открыт Педологический институт.
Верхний этаж дома №104 по Невскому проспекту занимает Интерьерный театр, основанный в 1988 году. Здесь же работают Общество жителей блокадного Ленинграда и другие организации.
