Дом №4 по Гороховой улице находится в квартале, который был отдан под застройку в 1760-х годах, а до того был частью Адмиралтейского луга. Первый владелец этой территории получил её от Главной полиции в 1762 году, а до того жил в придворных конюшнях. Этим человеком был придворный седельник Иоганн Билерт (или Белерт). Он поселился в выстроенном здесь каменном доме со своей супругой Елисаветой Борисовной. Наследникам Билерта участок принадлежал ещё в 1804 году.
К 1822 году территория принадлежала ювелиру Самуилу Арнду. При нём здание было надстроено двумя этажами, дополнено двумя дворовыми корпусами. В 1855 году, находясь за границей, ювелир подписал дарственную, по которой владение перешло его сыновьям, купцам 2-й гильдии Карлу и Самуилу. В 1877 году Самуил Самуилович Арнд стал единоличным хозяином дома, в котором тогда было 25 квартир, в основном по 2-5 комнат. Сам хозяин занимал квартиры №6, 13, 15 и 16. Квартиры №8 и 9 (12 комнат) занимал почётный гражданин Эдуард Любимович Бонштедт, чья подпись, как свидетеля, стоит на дарственной. Другие квартиры снимали в основном купцы. Кроме них здесь жили сапожный мастер, портной, гравёр, акушерка. В 1854 году здесь обитал барон Александр Карлович Икскуль. Квартиру №18 в 1877 году снимали "артельщики Никольс и Плинке", квартиру №3 - купец 1-й гильдии, владелец пивоваренного завода Иван Алексеевич Дурдин.
Согласно завещанию С. С. Арнда в 1880 году дом №4 перешёл его жене Софии Карловне. Она владела им ещё в 1903 году, но вскоре продала участок Обществу страхования от огня "Саламандра", чья контора располагалась в соседнем доме №6. Приобретение финансовой организацией доходного дома было делом обычным, так как это способствовало формированию более устойчивого капитала. В 1906 году здесь снимал квартиру драматург, режиссёр Александр Рафаилович Кугель [1]. В 1907-1909 годах здание было перестроено по проекту архитекторов Н. Н. Верёвкина и М. М. Перетятковича. Фешенебельные обновлённые квартиры продолжились сдаваться внаём. Ряд помещений в новом доме заняла контора торгового дома, производившего и продававшего алкогольных напитков.
В 1918 году дом №4 освободили от прежних жильцов и передали ЧК. В одной из квартир до отъезда в Москву принимал посетителей Ф. Э. Дзержинский. В 1920-1930-е годы здание занимало Управление делами Петроградской ЧК. Здесь располагались кабинеты сотрудников, в том числе руководителя петроградской ЧК, а также камеры заключения.
После переезда ОГПУ в новое здание на Литейном проспекте дом №4 по Гороховой улице вновь стал жилым. Первое время квартиры занимали сотрудники ОГПУ. Но вскоре они перебрались ближе к новому месту работы. Жильцами дома №4 стали ленинградские деятели культуры и искусства. В 1937-1951 годах здесь жила балерина, педагог Агриппина Яковлевна Ваганова, чьё имя носит Санкт-Петербургская академия русского балета. Обитали здесь и другие артисты. Квартиру №6 с 1946 года занимала балерина Фея Ивановна Балабина. В одной из квартир на верхнем этаже жила балерина Ольга Генриховна Иордан. Квартиру №33 с 1935 года снимал режиссёр театра им. С. М. Кирова Сергей Николаевич Уланов и его дочь балерина Галина Сергеевна Уланова. С 1946 года в квартире №6 жил артист балета Николай Константинович Сергеев. Другими обитателями дома №4 были певец и вокальный педагог Иван Васильевич Ершов, солистка Ленинградского театра оперы и балета Софья Петровна Преображенская, певица Надежда Львовна Вельтер, солистка Малого оперного театра Вера Ивановна Шестакова. Её племянник профессор В. В. Инчик с супругой в память о ней создали музей-квартиру "Блокадная комната артистки Веры Ивановны Шестаковой".
С 1936 года здесь жил композитор Исаак Осипович Дунаевский с женой Зинаидой Александровной и сыном Евгением. Семья Дунаевских сначала занимала квартиру №37, затем №6. В те годы композитор уже был широко известен. Его кабинет располагался к левом эркере третьего этажа. Окна других комнат - одно слева от эркера и два справа. В кабинете композитора стоял рояль, который впоследствии был передан Государственному музею истории Ленинграда. 25 мая 1941 года Дунаевский уехал на гастроли. Из-за начала войны в Ленинграде он больше не жил, переехал в Москву.
В июле 2003 года в доме №4 открылось Генеральное консульство Румынии в Петербурге.
