Дом №4 по Загородному проспекту был построен в конце 1840-х годов, когда этот участок принадлежал купцу-виноторговцу Якову Филипповичу Калмыкову. Первоначально доходный дом имел три этажа. Его жителями были в основном мещане, мелкие чиновники и купцы - основное население этого района Петербурга. К 1873 году участком владел потомственный почётный гражданин купец 1-й гильдии Егор Фёдорович Калмыков, живший здесь же со своей семьёй. Дом №4 закладывался в Городском кредитном обществе. По его заданию здание обследовал архитектор И. И. Климов, оценивший имущество и землю в 86 000 рублей. Годовой доход от сдачи квартир составлял примерно 10 000 рублей [1, с. 62]. Тогда здесь были отмечены трёхэтажные лицевые флигели по правой и задней сторонам двора.
Участок несколько раз переходил из рук в руки между членами купеческой семьи Калмыковых, пока не был продан в 1895 году временному петербургскому купцу 2-й гильдии Николаю Абрамовичу Серякову. Для него в 1902 году существовавший здесь дом был перестроен по проекту архитектора Василия Фёдоровича Розинского.
Николай Абрамович занимался оптово-розничной торговлей "водопроводными и медно-котельными изделиями", склад которых находился в собственном доме купца. Семья Серякова стала жить в своём новом доме и сдавать в нём квартиры внаём. Сыновьями домовладельца были хозяин чугунолитейного завода (что весьма органично дополняет торговлю водопроводными изделиями, которые тогда делались в том числе из чугуна) Василий Николаевич Серяков, потомственный почётный гражданин Макар Николаевич Серяков. Дочери Николая Абрамовича были врачами.
Среди жителей доходного дома Н. А. Серякова следует отметить литератора коллежского советника Григория Константиновича Градовского, получившего известность в качестве члена редакции газеты "Голос". Создаваемые им фельетоны были чрезвычайно популярны, но вызывали резкую критику властей. После 11 предостережений и трёх приостановок в 1878 году газета была закрыта.
