Первым владельцем участка дома №24 по Большой Морской улице был колокольный мастер Иван Ферстер. Служил он в Петропавловском соборе, был принят на службу в Россию по личному указанию Петра I. Дом Ферстера сгорел при пожаре в 1736 году.
После пожара Ферстер долго не мог построить новый дом. На участке в 1740-х годах имелся лишь фундамент. После смерти Ферстера имение принадлежало его сыну, унаследовавшему профессию отца. При нём дом был наконец-то построен. В 1749 году он принадлежал уже портному мастеру Мартыну Крыгеру, при котором здесь велось торговля картинами. Тогда же дом выставлялся на аукцион но продан не был. В 1755 году участок приобрёл обер-секретарь Сената Александр Иванович Глебов, который тогда же женился на владелице дома №20 по Большой Морской улице Марии Симоновне Чоглоковой. Спустя полтора месяца она умерла, в память о ней в доме №24 устроили домовую церковь равноапостольной Марии Магдалины.
В 1760 году участок принадлежал переводчику поручику Францу Вернезоберу. Затем - советнице Марье Ивановне Крузе, которая в 1764 году продала его фабриканту галантерейных вещей (ювелиру) Жану Пьеру Адору. В 1774 году здесь работала ювелирная фабрика. Её совладельцем, вероятно, был ювелир Луи-Давид Дюваль, проживавший, по всей видимости, здесь же. В 1782-1884 годах участок принадлежал золотых дел мастеру Адору, вероятно сыну Жана Пьера. Его звали Иваном Ивановичем. Работы Адора и Дюваля ныне хранятся в Особой кладовой Эрмитажа.
К 1797 году дом №24 был трёхэтажным, справа от него находились ворота. В 1800-х годах им владела вдова Адора Анна Абрамовна. В 1822 годах - ювелир Дюваль, один из сыновей или внуков Луи Давида. В 1836 году зданием распоряжалась госпожа Адамс, при которой была увеличена высота третьего этажа.
В 1830-х годах здесь работала книжная лавка Луки Диксона, чрезвычайно популярная у петербуржцев. Ей пользовался А. С. Пушкин. В 1837 году в доме №24 жил родственник М. Ю. Лермонтова Александр Васильевич Хвостов, служивший в Азиатском департаменте Министерства иностранных дел.
Некоторое время участком владел купец Фейгель. В 1840-х годах - купчиха Анна Ивановна Поцелуева, владелица многих петербургских домов. С 1850 по 1898 год участок принадлежал семье Золотовых. Сначала - надворному советнику Павлу Сергеевичу, затем ротмистру гвардии Владимиру Павловичу. Для П. С. Золотова дом перестраивал архитектор П. Жако.
В 1898 году за 407 000 рублей участок приобрёл санкт-петербургский потомственный почётный гражданин, купец 2-й гильдии Карл Фаберже. В то время Карл Фаберже был оценщиком и поставщиком императорского двора. В 1899-1900 годах располагающееся здесь здание было полностью перестроено по проекту Карла Карловича Шмидта, двоюродного племянника Фаберже. Нижний этаж был предназначен для торгового зала. Отделку фасада осуществила фирма "Кос и Дюрр". Фасад отделан одной породой красного гангутского гранита. Камень обработан разными приёмами, что создаёт впечатление многообразия форм отделки.
Фирме Фаберже дом №24 принадлежал до 1917 года. Кроме торгового зала здесь располагались бухгалтерия, студия дизайнеров и скульпторов, собрание моделей, мастерские. В верхнем этаже находилась 15-комнатная квартира хозяев. По словам Е. Фаберже:
В доме Фаберже был оборудован уникальный сейф, который находился под током и поднимался на ночь на второй этаж. Это не помешало его ограбить в 1918 году.
В настоящее время в доме №24 продолжает работать ювелирный магазин, который принадлежит совсем другим хозяевам. В торговом зале сохраняются старые дубовые прилавки.
