В 1740-х годах участком дома №16 по Миллионной улице владел капитан Иван Андреевич Вильден. К 1770-м годам участок был застроен только со стороны Миллионной улицы. К берегу Мойки выходило пустое огороженное каменным забором с воротами владение. В начале XIX века хозяинами здесь были пекарь Иван Рольфсен и его наследники, затем "жена мастера" Катерина Герат, купец Титов, действительный статский советник А. Я. Перрен, некто Григорий Перемыкин. В XIX веке находящийся здесь особняк был трёхэтажным, позже был надстроен ещё одним этажом.
В 1837 году в доме №16 проживал князь Пётр Владимирович Долгоруков. Он остался известным в истории тем, что собирал всевозможные слухи, сплетни, в том числе на Романовых. Результатом его работы стали четыре части "Российского родословного сборника". Из-за публикации весьма компроментирующих сведений о влиятельных людях того времени он был вынужден уехать за границу.
В 1843 году, когда домом №16 владел купец Титов, в местных меблированных комнатах мадам Тардиф снимал помещение известный французский писатель Оноре де Бальзак. Он приехал в Петербург 17 июля 1843 года и прожил здесь 10 недель.
Атлас Н. Цылова показывает, что к 1849 году сквозным участком от Мойки до Миллионной улицы владел чиновник 4-го класса (действительный статский советник) Александр Яковлевич Перрен, при котором находящийся со стороны Миллионной дом имел три этажа, а со стороны Мойки четыре. Книга "Течёт река Мойка" историка Г. Зуева содержит противоречащие атласу сведения. В ней говорится о том, что дом на Мойке стал четырёхэтажным только в 1858 году, когда архитектор А. Х. Кольб занимался его надстройкой и переделкой фасада [2, с. 348, 349].
Квартиру №6 в доме на Миллионной в 1860-х годах снимал член Государственного Совета граф Александр Петрович Толстой, а также директор (до 1863 года) Школы гвардейских подпрапорщиков и кавалерийских юнкеров Александр Николаевич Сутгоф. В 1867-1868 годах в доме №15 по набережной реки Мойки жил поэт князь Пётр Андреевич Вяземский.
Последней частной владелицей участка с 1890-х годов и до 1917 года была графиня Текла Павловна Стакельберг. Её супруг граф Густав Эрнестович Стакельберг был убит 28 февраля 1917 года.
