Первые постройки на участке дома №3 по 6-й линии Васильевского острова (№10 по Академическому переулку) возникли в первой трети XVIII века. Во второй половине столетия здесь стоял деревянный питейный дом. В 1790-х годах участок принадлежал мещанину Милюкову, который в начале 1800-х годов построил здесь каменное двухэтажное здание. Милюковым в доме на набережной была открыта штофная лавка, а затем винный магазин. В 1849 году участок принадлежал наследнику купца Варламу Семёновичу Милюкову.
В 1870-х годах для мастера столярного цеха Е. И. Иванова дом был надстроен до трёх этажей архитектором И. А. Цимом.
С 1840-х годов здесь работала пекарная и магазин булочника Стейна. Эти заведения проработали здесь более ста лет. В 1940-х годах на их месте работало одно из отделений артели "Хлебопечение".
