Участок дома №19 по Университетской набережной впервые был застроен во второй половине XVIII века. Здесь появился жилой дом и несколько служебных флигелей. Тогда же эта территория была объединена с соседним участком дома №21, которым владел полковник Ф. В. Смирнов. Их разделение состоялось в 1820-х годах.
Атлас Н. Цылова указывает на то, что к 1849 году территорией владел наследник коллежского советника Эдуард Егорович Лоде. При нём дом со стороны Университетской набережной имел три этажа, застройка со стороны 5-й линии и Академического переулка уже была каменной и двухэтажной. В 1840-х годах здесь работало правление 1-го округа путей сообщения. Эта организация, кроме прочего, утверждала проекты петербургских зданий. В 1861 году, когда участком владел А. И. Тур, граница территории вдоль 5-й линии Васильевского острова была застроена сплошным фронтом архитектором Е. А. Туром.
В 1876 году дом №19 стал известным благодаря находившейся здесь частной библиотеке Полухина. Она стала местом передачи сообщений между членами нелегальной революционной группы С. М. Кравчинского. Одним из авторов записок, тайно оставляемых в библиотеке, был учёный Н. А. Морозов.
В 1892 году для статского советника А. Г. Елисеева архитектор А. А. Бруни изменял фасады зданий по набережной и 5-й линии. В начале ХХ века здесь жил вице-президент Академии художеств, министр народного просвещения граф И. И. Толстой.
При послевоенной реставрации дом №19 был надстроен четвёртым этажом. Флигель по 5-й линии остался двухэтажным.
