В 1740-х годах участки домов №48 и 50 по Большой Морской улице представляли собой единое владение. Оно принадлежало вдове комнатного стольника Ивана Ивановича Нарышкина Настасье. Здесь был выстроен одноэтажный на высоких подвалах особняк шириной в 21 окно - одно из самых больших зданий в округе. Его центральная часть выделялась повышенным на один этаж ризалитом шириной в три окна. По сторонам от него крылья здания увенчивались полукруглыми фронтонами.
В 1773 году участок дома №50 по наследству получил внук Анастасии Нарышкиной Дмитрий Иванович Нарышкин, служивший в лейб-гвардии Конном полку. Через год он подал объявление о продаже территории, что смог осуществить только спустя семь лет. Покупателем стала Мария Эрнестина Монжу, дочь поступившего на русскую службу французского подполковника Фридриха Отто фон Монжу.
Следующим владельцем особняка стал подполковник Сергей Андреевич Беклешов (возможно, Беклемишев), который распоряжался им и в 1798 году. В 1804-м участок был в руках супруги купца Елизаветы Бахерахт, которая в этом же году после смерти мужа получила ещё один дом неподалёку (№59).
С 1807 по 1870-е годы территорией владела семья Крамеров: почётный гражданин и купец 1-й гильдии Себастьян Венедиктович (исполнявший обязанности австрийского генерального консула), Венедикт Венедиктович и его наследники, позже - Николай Крамер. В 1836 году здесь снимали квартиру родители писателя В. А. Соллогуба - Александр Иванович и Софья Ивановна (урождёная Архарова). Их квартира, скорее всего, находилась во флигеле со стороны Мойки. Ранее, в 1810-1820-х годах, они жили в доме №20 на Дворцовой набережной, где прошло детство писателя.
Существующий сейчас облик дом №50 приобрёл в 1874 году, когда он принадлежал купцу Генриху Антону Лепену. Проект перестройки составил архитектор И. И. Цим, который надстроил его третьим этажом. В 1880-х годах здесь жил поэт А. Н. Плещеев. Он занимался переводами, сотрудничал с журналами "Современник", "Отечественные записки", "Северный вестник". Сюда к нему приходил молодой А. П. Чехов. В 1910-х годах в доме Г. А. Лепена жил предприниматель, потомственный почётный гражданин, председатель Товарищества пивомедоваренного завода "Иван Дурдин" Иван Иванович Дурдин.
