На участке дома №31 по Большой Морской улице в 1740-х годах располагался особняк, построенный по "образцовому" проекту архитектора М. Г. Земцова. Участок в то время был шире соседних. В его глубине располагался сад, разделённый аллеями на четыре квадрата. На улице между двумя воротами располагался одноэтажный дом на высоких погребах шириной в девять осей. Особняк имел изящное парадное крыльцо, центральный ризалит в три окна с треугольным фронтоном.
Первым владельцем каменного особняка был купец и браковщик юфти (кожи) Яков Петерзон. Он распоряжался территорией и в 1756 году. После Петерзона хозяйкой здесь была его вдова Магделана Андреевна, а после её смерти - сестра Анна Андреевна, вдова адъюнкта Ивана Христофоровича Мейвордта. В 1773 году она продала дом лейб-гвардии Кирасирского полка подполковнику Ивану Ивановичу Мейводту. Офицер вскоре заложил участок Анне Андреевне. К этому времени с левой стороны от особняка появился флигель шириной в два окна, отделённый от главного здания воротами. В 1774 году Иван Иванович Мейвордт подавал объявление о сдаче или продаже дома, здесь же жил сам.
В 1776 году участок перешёл в руки золотых дел мастеру Анастасию Делакроа, у которого в 1782 году его перекупил генерал-майор Семёновского полка князь Василий Васильевич Долгорукий. Через четыре года он женился на Екатерине Барятинской, а затем уехал из Петербурга на русско-турецкую войну. Следом за супругом в армию отправилась и Екатерина Фёдоровна.
С 1801 года домом №31 на Большой Морской улице владел директор императорских театров, действительный статский советник, обер-камергер Александр Львович Нарышкин. Дом Нарышкина современниками был прозван "Новыми Афинами". Здесь устраивались великолепные балы. Александр Львович был женат на Марии Алексеевне Сенявиной. Вероятно, в её честь в особняке была устроена церковь Преподобной Марии Египетской. В 1820 году храм был переведён на дачу Нарышкиных. Сестрой владельцу дома приходилась Наталья Львовна Соллогуб, жившая в доме №25.
Следующим хозяином особняка в 1820 году стала супруга гвардии ротмистра князя Алексея Яковлевича Лобанова-Ростовского Софья Петровна. В 1837 году Лобанов-Ростовский стал генерал-лейтенантом. В 1830-х годах здесь жили вдова генерала Наталья Степановна Голицына, брат владельца князь Александр Яковлевич Лобанов-Ростовский. В 1846 году он основал Императорский Санкт-Петербургский яхт клуб и стал его первым командором. В доме №31 разместилось собрание яхт-клуба, которое работало здесь вплоть до революции.
В 1849 году дом перешёл наследникам Алексея Яковлевича. Участок до 1870-х годов был в руках его сына Николая. Из-за травм он был прикован к постели на протяжении 30 лет, при этом занимался живописью.
В 1852 году дом Лобановых-Ростовских переделывал архитектор Л. Ф. Вендрамини, спустя шесть лет - Ф. И. Эппингер. Последний расширил здание за счёт соединения его с левым флигелем. В 1872 году архитектор И. А. Мерц построил правый флигель. К этому времени левый корпус был двухэтажным, с козырьком над входом, треугольным фронтоном, на котором крылатые фигуры держали щит с короной. Центральный корпус был украшен пилястрами и невысоким аттиком с полукруглым фронтоном над карнизом. Левая часть здания имела три этажа с балконом на чугунных колонках, перекрытым стеклянным колпаком. Этот балкон был частью комнаты, прозванной в яхт-клубе "Сопкой" или "разговорной". Позже левая часть была надстроена двумя этажами, а центральная и правая одним этажом, высота здания выровнялась.
С 1880-х годов владельцем дома №31 был английский подданный Николай Николаевич Беллей. В 1901 году в семье жившего здесь чиновника Н. И. Берберова родилась Нина Николаевна Берберова, ставшая известной русской писательницей. В 1903 году здание выкупил яхт-клуб. При нём здесь находилась гостиница, среди постояльцев которой был Анатолий Павлович Демидов. В 1912 году здесь обитал Павел Павлович Голенищев-Кутузов-Толстой. 27 декабря 1917 года особняк был разграблен революционными войсками.
В советское время в одной из квартир дома №31 жил начальник управления НКВД Ленинградской области Ф. Д. Медведь, который был репрессирован в связи с убийством С. М. Кирова.
