До последней трети XVIII века участок дома №4 по Невскому проспекту входил в состав Адмиралтейского луга, часть которого впоследствии стала Дворцовой площадью. В 1777-1778 годах здесь по типовому проекту архитектора А. В. Квасова было построено два дома. Один из них принадлежал Екатерине-Доротее, супруге служащего Портовой таможни коллежского асессора Е. Янсену. Другой - Анне Энгель, жене лифляндского купца В. Фурлона. Владения числились за их жёнами Екатериной Доротеей и Анной Энгель. Каждый дом имел по восемь осей.
К 1797 году дом Янсен перешёл во владение ревельскому купцу Фёдору Киммелю. В 1804 году участок Анны Энгель достался московскому купцу Густаву Беру. К середине 1830-х годов оба участка были приобретены отставным придворным метрдотелем А. Петилье. Для него в 1828-1830-х годах архитектор Г. Р. Цолликофер построил дворовые флигели и реконструировал лицевую часть здания. К этому времени два отдельных дома стали представлять собой единое здание.
В 1860-х годах владельцем дома №4 стал почётный гражданин, мебельный мастер, поставщик Императорского двора П. А. Гамбс. На первом этаже своего дома он открыл магазин картин и эстампов Александра Ивановича Беггрова, который переехал сюда из дома №1. Сюда И. Е. Репин принёс свою первую картину "Подготовление к экзаменам" [2, с. 40]. Сам Беггров жил с семьей в дома №4 на втором этаже. После смерти Александра Ивановича в 1878 году магазин перешёл к его двоюродному брату Александру Карловичу Беггрову.
По версии историка Б. М. Кирикова следующим владельцем дома №4 в 1870-х годах стал потомственный почётный гражданин А. И. Гергенс. При нём архитекторы В. А. Шретер и И. С. Китнер обустроили выставочное помещение для Беггрова, заложили левые ворота [1, с. 41]. С. С. Шульц-младший считает, что смена собственника произошла во второй половине 1870-х годов, им стал потомственный почётный гражданин Фёдор Йергенс. После его смерти дом перешёл к сыновьям Йергенса Фёдору и Эдуарду, а также Анне Фёдоровне Глазовой (вероятно, их сестре) [3, с. 645]. Позже дом был надстроен пятым этажом.
В конце 1890-х годов дом №4 передали военно-топографическому отделу Главного Штаба. Тогда же на первом этаже открылся книжный и географический магазин - крупнейший и известнейший географический магазин в стране. По уровню и разнообразию он долгое время не имел равных среди подобных заведений во всём мире. Его куратором был вице-президент Императорского Русского Географического общества Пётр Петрович Семёнов-Тян-Шанский. Этот магазин продолжал работать вплоть до 1930-х годов.
Сейчас в доме находится военная прокуратура Ленинградского военного округа.
