Участок дома №11 по Большой Морской улице в середине XVIII века был занят временным Зимним дворцом императрицы Елизаветы Петровны. После разборки дворца здесь оставались каменная кухня и Тронный зал. Тронный зал был отдан под мастерскую скульптору Э. Фальконе для работы над памятником Петру I.
Фальконе поселился здесь в 1766 году. Под жильё ему перестроили кухонный корпус бывшего дворца. Во дворе был устроен помост, на котором скульптор наблюдал всадника, поднимающего коня на дыбы. В 1773 году здесь скульптора навещал его друг французский философ Д. Дидро, приехавший в Россию по приглашению Екатерины II. Покинул этот дом Фальконе в 1778 году, уехав во Францию.
После отъезда француза на этом участке располагался склад мрамора для постройки рядом здания (дом №9), так и не возведённого. В 1801 году участком стал владеть купец, прусский консул в Петербурге Масс. При нём здесь был построен жилой двухэтажный дом. В 1822 году наследники Масса поделили участок на две части. Сторона примыкающая к Большой Морской улице в 1836 году была продана архитектору Полю Жако.
Проект перестройки здания был утверждён 1 апреля 1837 года [2, с. 186]. В 1837-1838 годах Жако построил здесь собственный четырёхэтажный доходный дом, сохранивший свой облик до настоящего времени. Его внешний облик вполне традиционен, большая часть фасада говорит языком классицизма. Для устройства витрин первого этажа были применены железные балки - новшество в строительном деле Петербурга. Семья архитектора занимала одну из квартир.
Вскоре после постройки в доме Жако открылся ресторан Леграна. В 1841 году в бильярдной ресторана произошла встреча М. Ю. Лермонтова с его родственником М. Н. Лонгиновым. В 1842 году здесь открылась мастерская, положившая начало фирме Фаберже.
В 1850-х годах в доме №11 работал ресторан Дюссо. Его посещали богатые предприниматели и промышленники, деятели искусства. 10 марта 1859 года в нём чествовали актёра А. Е. Мартынова, в конце апреля Некрасов и Гончаров участвовали в проводах за границу И. С. Тургенева.
В 1860-х годах в доме Жако жил обер-гофмаршал граф Иван Матвеевич Толстой, в разное время бывший сенатором, министром почт и телеграфов, членом Государственного совета. Наследникам Жако дом принадлежал до 1917 года. К 1915 году владельцев здания было 13. В это время здесь обитала семья Павла Ивановича Лелянова, купца, бывшего два срока городской головой.
В 1930-х годах в доме №11 со стороны Кирпичного переулка находился Дом художников.
