Участок дома №3 по 8-й линии Васильевского острова (№9 по Академическому переулку) начал застраиваться в первой половине XVIII века. Тогда на углу двух улиц было построено каменное одноэтажное здание. В 1771-1784 годах участок принадлежал одному из первых русских скульпторов М. П. Павлову. Живя здесь, мастер был архитектором и главным инспектором строений Академии наук, занимался скульптурным оформлением интерьеров Кунсткамеры и академической библиотеки.
К 1834 году территорией владели купец Иван Давыдович Кениг с братом. Им же принадлежал соседний дом №1/18 на 8-й линии. При них угловой дом был двухэтажным, позже надстраивался третьим этажом. К 1840-м годам на доме появился мезонин.
Одну из квартир дома №3/9 в 1860-х годах занимал генерал-майор И. И. Зеленой, член Морского учёного комитета и редактор журнала "Морской сборник". На рубеже XIX-XX веков здесь работал отель.
