Первое здание на участке дома №19 по Большой Морской улице, после пожаров 1730-х годов, в 1742 году построил купец Яган Албрехт. Рисунок из Стокгольмской коллекции называет владельца генерал-майором. В 1746 году купец заложил участок за 3 000 рублей купцу Петру Лобри, а затем сразу его продал.
В 1750-х годах у Лобри снимал помещение купец Фридрих Вильгельм (Фёдор) Поггенполь. Он занимался организацией лотереи, а в 1762 году приобрёл этот особняк. Император Пётр III позволил Поггенполю вести здесь торговлю. Купец также выступал поставщиком императорского двора. В частности, он поставил фарфор, паникадило и живописные картины в Китайскую комнату Царскосельского дворца. После смерти Поггенполя его наследники заложили дом в 1786 году банкиру Сутерланду. Они просрочили оплату, чуть было не потеряв владение. Сутерланд обанкротился и окончил жизнь самоубийством, решением Сената дом на Большой Морской улице остался за семьёй Поггенполь.
В 1813 году хозяин особняка намеревался его перестроить: покрыть крышу железом, изменить фасад и сделать "балкон в стёклах" (эркер). Но эркеры появились в Петербурге только в 1830-х годах, это намерение по всей видимости не было осуществлено.
Следующими владельцами дома №19 стала семья Свистуновых. Действительный камергер Николай Петрович Свистунов и его супруга Мария Алексеевна (дочь президента Медицинской коллегии и вице-президента Академии наук Алексея Ржевского и выпускницы Смольного института Глафиры Алымовой) владели им в 1810-1820-х годах. В 1824 году, когда они были в Москве, здесь жил председатель Комитета строений и гидравлических работ генерал-лейтенант Августин Августинович Бетанкур. Это последний адрес Бетанкура, скончавшегося в том же 1824 году.
Николай Петрович скончался ещё в 1815 году. Сын Свистуновых Пётр Николаевич принимал активное участие в восстании декабря 1825 года. Он был членом Южного тайного общества, осуществлял связь между ним и Северным обществом, члены которого бывали в этом доме. В 1825 году он снимал квартиру на Невском проспекте. Его арестовали в Москве и осудили на 15 лет каторги. Мария Алексеевна приняла католичество и уехала во Францию, передав особняк младшему брату декабриста Алексею Николаевичу Свистунову. Тот служил в лейб-гвардии Конном полку, был дружен с А. С. Пушкиным.
Архивы хранят чертёж дома №19, датированный 1831 годом. На нём изображён двухэтажный на высоких подвалах особняк с аттиком, на котором два льва держат щит с короной. Справа видна подворотня, над которой устроен сохранившийся до наших дней эркер. Автором проекта чертёж называет архитектора В. П. Стасова. Так как эркеры вошли в строительную практику только в 1830-х годах, то можно предположить, что Стасов перестраивал особняк для Свистуновых.
В 1835 году Свистуновы продали участок полковнику в отставке Фёдору Фёдоровичу Гроту. Архитектором Боссе здесь планировались парадная с навесом-зонтиком, перестройки во дворе. Здесь проживала княгиня Мария Фёдоровна Барятинская, сыном которой был будущий генерал-фельдмаршал Александр Иванович Барятинский, соученик М. Ю. Лермонтова.
В 1841 году дом был приобретён женой тайного советника Екатериной Михайловной Рибопьер. Свою жизнь до замужества она провела, вероятно, в доме своей матери - дом №47 по Большой Морской. По табелю в 1860-х годах особняк числился за сыном Рибопьера Иваном, который был гофмейстером высочайшего двора и жил здесь. Но купчая 1868 года говорит о том, что дом продавала вдова действительного тайного советника графиня Екатерина Рибопьер.
у Рибопьер участок купил камер-юнкер коллежский секретарь Павел Павлович Демидов, владелец домов №43 и 45 по Большой Морской улице. Рибопьер заложила Демидову особняк ещё в 1859 году за 75 000 рублей. Спустя шесть лет поверенный Павла Павловича подал в суд на взыскание по закладной. Полученный таким образом дом Демидов тут же продал купцу 1-й гильдии Андрею Карловичу Кумбергу.
Для Кумберга в 1868-1869 годах дом перестраивал архитектор В. А. Шретер. Здание было надстроено. Окна первых двух этажей переделали в витрины. Среднее окно третьего этажа стало украшено кариатидами. На аттике поместили надпись "Торговый дом Кумберга". Этот торговый дом основал Иоганн Андреевич Кумберг, владевший им до своей смерти в 1891 году. Спустя три года участок перешёл в руки Аделаиде Александровне Кумберг.
Следующим хозяином дома №19 по Большой Морской улице стал потомственный почётный гражданин Герман Фридрих Эйлерс. Для него здание перестраивалось архитектором А. В. Маловым в 1896 году. Тогда оно было надстроено четвёртым этажом, два первых были объединены новыми огромными витринами. Эйлерс известен как один из самых успешных торговцев цветами в Петербурге. Его сын Константин вместе с мужем своей сестры Ф. И. Лидвалем построил для отца доходный дом возле знаменитого садоводства Эйлерса (ул. Рентгена, 4). Домом №19 на Большой Морской Г. Ф. Эйлерс владел до 1917 года.
В 1905 году здесь работала типография Люндорфа, печатавшая некоторые сатирические журналы: "Зарево", "Скорпион" и другие. В 1917 году в дворовом корпусе дома Эйлерса размещалась "Штемпельная мастерская" К. А. Мусса, существовавшая и в 1920-х годах. В 1931 году в "Красной газете" была опубликована фотография дома со сведениями о его надстройке ещё одним этажом и перепланировке помещений.
