Участок дома №4 на 5-й линии Васильевского острова с 1740-х годов и до конца XVIII века принадлежал купеческой семье Велениных. При них здесь находились деревянные постройки. К 1770-м годам на углу стоял полутораэтажный деревянный жилой дом, более длинной своей стороной выходящий на переулок. Далее по Академическому переулку находились сарай и забор. Правую часть участка со стороны 5-й линии занимал ещё один деревянный дом на высоких подвалах. Но от первого он был отгорожен забором. По всей видимости, во второй половине XVIII века этой территорией владели два хозяина.
В 1830-1840-х годах на участке был построен трёхэтажный каменный жилой дом. В середине XIX века к нему был пристроен трёхэтажный флигель со стороны Академического переулка. Судя по атласу Н. Цылова участок тогда принадлежал купцу Францу Даниловичу Пецу.
С 1860-х годов и до 1917 года домом владел известный ботаник М. С. Воронин и его наследники. Так как участок находится в непосредственной близости с Академией художеств, здесь часто снимали комнаты и квартиры студенты Академии. В 1868-1869 годах в одной из квартир жили художник Илья Ефимович Репин и скульптор Марк Матвеевич Антокольский. Здесь их навещал известный критик В. В. Стасов. В 1872-1873 годах в квартире на третьем этаже дворового флигеля жил художник Василий Иванович Суриков. На верхнем этаже в 1881-1886 годах жил художник-передвижник К. А. Савицкий, живший здесь и ранее, ещё будучи студентом. Некоторое время в доме Воронина также находилось и правление Товарищества художественных передвижных выставок.
Четвёртым этажом здание было надстроено в 1880 году по проекту архитектора П. Ю. Сюзора, а в 1910-х годах - пятым. В 1907 году здесь жил архитектор И. А. Фомин, в 1907-1909 годах - скульптор И. Я. Гинзбург.
В 1981 году проводился капитальный ремонт здания, в ходе которого были перепланированы внутренние помещения и незначительно изменён фасад. Тогда же был разобран дворовый флигель, в котором жил В. И. Суриков.
