Первым известным владельцем участка дома №5 по Гороховой улице является Иоганн Фридрих Портер, который в разных документах называется то архитектором, то "штукатурным мастером" [1, с. 26]. Затем им владела дочь Портера Мария Елизавета. В 1777 году она продала участок с каменным зданием супруге действительного статского советника Михаила Зыбина, Прасковье Андреевне. В 1790-х годах Зыбина ещё владела домом №5, а в 1804 годом хозяином здесь числится капитан Яков Лабе де Лонда. В 1820-х годах - титулярный советник Логинов.
Следующим владельцем дома №5 был Владимир Григорьевич Орлов - младший брат фаворита Екатерины II Григория Орлова, от которого участок передавался по наследству. Судя книге "Гороховая улица" Л. И. Бройтман, от Владимира Григорьевича дом достался его дочери Наталье, затем её сыну Владимиру Петровичу, получившему в 1856 году двойную фамилию - Орлов-Давыдов. Последнему принадлежал также дом №27 по Сергиевской (ныне Чайковского) улице.
Для одного из вышеуказанных именитых владельцев в 1834 году трёхэтажное здание было надстроено ещё одним этажом. Во дворе вместо существовавших появились новые четырёхэтажные флигели. Проект подписан архитектором Ливеном. По мнению Л. И. Бройтман это старший городской архитектор Мартын Антонович Ливен [1, с. 28].
Одним из жильцов этого доходного дома в 1837 году был отставной полковник Лука Ильич Жемчужников, содержавший вместе с В. С. Огонь-Догановским в Москве и Петербурге игорные дома. В их заведениях бывали многие известные лица. А. С. Пушкин в 1830 году проиграл Жемчужникову 12 500 рублей.
В середине февраля 1842 года здесь поселилась Евгения Андреевна Глинка со своими детьми. По свидетельству композитора Михаила Ивановича Глинки "матушка с сёстрами и племянником заняла бельэтаж, а мне нашлись две комнаты на дворе с кухней" [Цит. по: 1, с. 28]. В это время композитор работал над оперой "Руслан и Людмила". Первая проба оперы состоялась здесь же 13 августа. Глинка сам исполнял на рояле партии духовых инструментов. С художником А. Роллером он обсуждал декорации, с К. Брюлловым - костюмы. Гостем Глинки в 1843 году был знаменитый композитор Ференц Лист. Устроенный в его честь вечер посетили М. Ю. Вильегорский, В. А. Соллогуб, А. С. Даргомыжский. Михаил Иванович прожил в этой квартире до отъезда за границу в июне 1844 года.
По этому адресу в 1874 году работала картонажная мастерская Г. Бирхгольца.
В 1904 году дом №5 вместе с дворовыми корпусами был надстроен пятым этажом. Тогда же увеличили окна 1 и 2 этажей лицевого корпуса, перестроили лестницы. Все эти работы производились по проекту архитектора-художника Артура Александровича Грубе, весьма часто сотрудничавшего с Орловыми-Давыдовыми. В 1911 году он же построил бетонный переход на уровне 3-го этажа между дворовыми флигелями.
На рубеже XIX-XX веков участком владел Сергей Владимирович Орлов-Давыдов. Его последним частным владельцем стал Алексей Анатольевич Орлов-Давыдов, живший в собственном доме №20 на Английской набережной.
После 1917 года А. А. Орлов-Давыдов эмигрировал из России, доходный дом был национализирован. В 1930-е годы здесь жил литературовед Соломон Абрамович Рейсер.
В начале 1990-х годов здесь работала одна из первых в послесоветском Петербурге благотворительных организаций "Невский ангел".
