Участок дома №20 по Миллионной улице (№5 по Мошкову переулку) был застроен в начале XVIII века. В 1740-е годы здесь работал морской трактир Юберкампфа, который часто упоминается в объявлениях из "Санкт-Петербургских ведомостей". С 1780-х и до 1810 года здесь размещался Пажеский корпус. Из дома №20 он переехал в Воронцовский дворец.
Владельцем особняка стал купец 1-й гильдии Фома Сиверс. После него - вдова сенатора П. И. Новосильцева Катерина Александровна. В справочнике 1844 года дом имел номер 16. Литературовед И. Л. Андронников связывает этот адрес с незаконченным романом М. Ю. Лермонтова "Княгиня Лиговская". Его девятая глава начинается следующими словами:
В краеведческой литературе можно встретить сведения, что во флигеле со стороны Мошкова переулка в 1826 году поселился князь В. Ф. Одоевский [1]. Однако, глубокие научные изыскания, участником которых был архитектор Михаил Николаевич Микишатьев, подтверждают другую версию, согласно которое Одоевский жил в соседнем здании - дом №3 (№22 по Дворцовой набережной).
После Новосильцевой особняком владели её наследники. В 1849 году таковым был тайный советник Николай Петрович Новосильцев.
Позже участок выкупил действительный статский советник Пётр Степанович Елисеев. Сам он жил в доме №15 на Невском проспекте.
В начале XX века домом №20 владела Анна Петровна Лелянова, жена действительного статского советника П. И. Лелянова, занимавшего ряд лет пост городского головы. Для неё архитектором Л. Н. Бенуа был построен новый особняк. Историк Г. Зуев в книге "Течёт река Мойка" пишет, что участком со стороны Мойки владела графиня Ольга Георгиевна Бобринская, фрейлина императрицы Александры Фёдоровны.
В 1920-х годах на участке со стороны Миллионной улицы был построен новый жилой дом в стиле конструктивизм. Жилое здание со стороны Мойки построено в 1930-х годах по заказу руководства Профсоюзов печатников [2, с. 353].
