Участок дома №4 по Биржевой линии Васильевского острова до 1790-х годов входил в состав усадьбы князя Александра Даниловича Меншикова. После ссылки князя территорией владел Кадетский корпус, который в конце XVIII века начал распродавать участки вдоль улицы частным лицам.
В 1799 году этой территорией распоряжался купец Н. Медников, в 1800-1820-х годах - семья чиновников Иконниковых. При них здесь находилось одноэтажное каменное здание. В 1830-х годах дом №4 приобрёл коллежский советник Дмитрий Яковлевич Паутов. Дворовые флигели на участке возведены в 1852 году. К 1876 году территорией владел купец П. О. Журкин. Для него здание было надстроено вторым этажом. Надстроены были и дворовые постройки, в которых разместилась кондитерская фабрика.
Следующим владельцем дома №4 по Биржевой линии был А. И. Колесников. Для него в 1913 году по проекту архитектора Ф. А. Корзухина главное здание было надстроено третьим этажом, дворовые корпуса - четвёртым.
В 1920-х годах здание перешло во владение только что созданного Государственного научно-исследовательского оптического института (ГОИ). Здесь на втором этаже в 1939-1940-х годах жил физик Д. С. Рождественский, в 1941-1946 годах на третьем этаже - С. И. Вавилов.
