На участке дома №40 по Большому проспекту Васильевского острова в конце XVIII века находилась деревянная церковь. Её посещали солдаты и офицеры Астраханского и Кексгольмского полков. Церковь просуществовала до 1810-х годов. Здесь же, на углу проспекта и 15-й линии, располагался двухэтажный каменный жилой дом. В 1822-1824 годах, когда участком владел купец Шильцов, дом надстроили третьим этажом, вплотную к нему достроили трёхэтажный флигель по 15-й линии. В 1855 году архитектором Н. В. Трусовым всё здание было надстроено четвёртым этажом, во дворе построены такие же по высоте новые корпуса. Во второй половине XIX века участком владел князь П. П. Вяземский.
В 1868 году в этом доме поселился композитор Александр Николаевич Серов вместе со своей женой и сыном Валентином Александровичем Серовым, ставшим в будущем знаменитым русским художником. Семья Серовых занимала квартиру №21 из семи комнат (кабинет, детская, спальня, столовая, зал, комната жены и кухня) на третьем этаже во флигеле со стороны 15-й линии. В этой квартире проходили так называемые "четверги", которые посещали многие известные деятели культуры того времени: Н. Н. Ге, Ф. М. Достоевский, И. Е. Репин и другие. Здесь Александр Николаевич Серов скончался в 1871 году.
В 1910 году на фасаде здания в память о композиторе установили мемориальную доску от Музыкально-исторического общества имени графа А. Д. Шереметева.
В конце 1960-х годов проводился капитальный ремонт дома. Квартира Серовых была перепланирована.
