Участок дома №37/5 на Большом проспекте Васильевского острова в 1740-х годах принадлежал выдающемуся инженеру-механику, статскому советнику А. К. Нартову. В это время он работал в канцелярии артиллерии и фортификации, изобрёл оптический прицел. При Нартове на участке находился деревянный особняк, главным фасадом выходившим на Большой проспект. В ноябре 1747 года в этом доме временно после пожара проживала семья поэта В. К. Тредиаковского.
В 1737 году у владельца здесь родился сын. С 1756 года до своей кончины в 1813 году участок принадлежал А. А. Нартову. В этот период он участвовал в создании Вольного экономического общества, где был его секретарём, а затем президентом.
В первой четверти XIX века со стороны 10-й линии для владелицы участка А. И. Ильинской был построен ещё один деревянный дом. В 1850-х годах в нём жил портретист С. С. Ершов.
В 1862-1863 годах для нового владельца участка купца Л. Брейтфуса по проекту Р. А. Гедике был построен новый каменный четырёхэтажный доходный дом. В 1868-1872 годах в квартире №5 на третьем этаже жил книгоиздатель Николай Петрович Поляков, выпустивший в 1872 году первый том "Капитала" К. Маркса. В 1890-х здесь жили Д. А. Тимирязев (брат известного учёного, чиновник Министерства финансов) и М. А. Шателен (будущий известный учёный-электрик).
В начале ХХ века часть помещений занимало бюро Главного управления землеустройства и земледелия. В 1920х годах в этом доме жил писатель Ф. К. Соллогуб.
