Участок дома №36 по Большой Морской улице в 1730-х годах принадлежал подполковнику Володимиру Васильевичу Измайлову. При нём здесь находились только деревянные строения. В 1734 году территория перешла в руки француза Венедикта Гавро. Он построил здесь каменное здание, которое сгорело в пожаре 1736 года. Француз вновь начал возводить каменные палаты, но закончить их не смог из-за нехватки средств.
У Венедикта Гавро дом в 1741 году купил капитан флота Иван Михайлович Обухов. Его прежний участок до пожара располагался рядом с Синим мостом, по новому плану города он вошёл в состав примостной площади. Поэтому Обухову и потребовалось новое место. Он обязывался построить корпуса со стороны Большой Морской улицы и Мойки, а также хозяйственные службы во дворе, за пять лет. Обухов не сломал недостроенный дом Гавро, а использовал его для обустройства своего жилища. Бывший дом Гавро был приведён императрицей Анной Иоанновной в пример, как надо строить новые дома в Морской слободе после пожара. Он был двухэтажным, шириной в восемь осей. Окна первого этажа были небольшие, из-за чего первый этаж был похож на полуподвальный ярус соседних зданий.
Из дома Обухова в 1758 году уезжали в Германию после закрытия немецкого театра комедиант Карл Людвиг Корн и мадам Мария Обингеринг. В 1766 году здесь жил архитектор Ж. Б. Валлен-Деламот. Здесь, перед полугодовым отпуском (с августа 1766-го по март 1767 года), он продавал с аукциона свои личные вещи: серебряную посуду, золотые часы, мебель из красного и другого дерева, мужское и женское платье и прочее.
От Ивана Михайловича дом №36, вместе с домом №29, получила в наследство его дочь Анна Ивановна Кожина. Первый из них она продала в 1795 году немецкому портному Иоганну Готлибу Миллеру. Портной Миллер скончался в 1801 году, его супруга Мария София - в 1816-м, их сын Христиан Адольф - в 1823-м. Христиан Адольф оставил 14 детей, также он имел брата Александра и трёх сестёр. После его смерти Комитет городского строения оценивал участок, при этом была составлена подробная опись. Согласно этим записям со стороны Большой Морской улицы дом был уже трёхэтажным. В первом этаже располагались 4 комнаты, кухня, сарай и конюшня. Во втором - 5 комнат, кухня, сарай и погреб. В третьем - две квартиры.
Наследники Миллера продали участок в 1832 году за 135 000 рублей штаб-лекарю Ивану Ивановичу Персону. Он служил в Императорском Воспитательном доме при училище глухонемых, ординатором Обуховской больницы, консультантом Максимилиановской лечебницы. Позже Персон состоял членом Медицинского совета МВД, инспектором медицинской части учреждений ведомства императрицы Марии. Иван Иванович скончался в 1867 году, будучи действительным статским советником и почётным лейб-медиком.
Большую часть квартир с своём доме Персон сдавал внаём. В 1837 году здесь жил Сергей Сергеевич Ланской, брат жены А. С. Пушкина. В 1845 году в доме со стороны Большой Морской улицы работала кондитерская лавка Дюпре. Для неё предполагалось незначительное изменение фасада здания. Тогда же хозяин дома пожелал устроить стеклянный фонарь, вероятно для фотографического павильона. Новый павильон здесь же был устроен в 1861 году.
В 1870-х годах участок приобрёл отставной гвардии поручик маркиз Александр Филиппович Паулуччи, сын губернатора Эстляндии, Курляндии и Лифляндии. В 1872 году архитектор Макаров предоставил проекты новых зданий со стороны Большой Морской улицы и Мойки. Строительные работы начались в 1873 году. При этом фасад со стороны Мойки был признан излишне пёстрым, архитектор принялся переделывать проект. В это время по неутверждённым чертежам строительство осуществлял Александр Васильевич Иванов, построивший ряд зданий по проектам Макарова. Тогда дом со стороны Большой Морской улицы стал пятиэтажным. Для создания больших витринных окон в двух нижних этажах применили металлические балки.
Вскоре после перестройки участок купил купец 2-й гильдии Доминик Риц-а-Порто, владевший также домом №26. По наследству он передал строения своему сыну Якову Дементьевичу. В декабре 1905 - январе 1906 годов здесь, в квартире Марии Яковлевны Штерн, проходили нелегальные партийные заседания ЦК и Петроградского комитета РСДРП, на которых присутствовал В. И. Ленин. Собрания прекратились после обнаружения полицейской слежки.
В 1910-х годах в доме Риц-а-Порто работал Новый Английский клуб. Его членами становились только англичане, председателем был посол сэр Джордж Бьюкенен. В 1915-1916 годах здесь размещалась биржевая артель "Полуярославская".
