Участок дома №5 по Загородному проспекту 16 декабря 1830 года был приобретён женой генерал-майора Устиньей Васильевной Козловой. Тогда он был сквозным, простирался до Троицкого переулка (ныне улица Рубинштейна). К 1849 году, как показывает атлас Н. Цылова, владелец не изменился. Вдоль проспекта был выстроен двухэтажный каменный дом. Сторона по Троицкому переулку была свободна от строений, огорожена деревянным забором [2].
Овдовевшая Устинья Васильевна в 1863 году отправилась за границу на лечение. Управление имуществом она поручила своему сыну гвардии штаб-ротмистру Александру Алексеевичу Козлову. Среди обитателей дома Козловых были в основном разночинцы, мелкие чиновники, военные.
В 1872 году участок был поделён на три части: одно домовладение по Загородному проспекту и два по Троицкому переулку. Тогда здесь были выстроены четырёхэтажный угловой и правый дворовые флигели. До четырёх этажей надстроили и лицевой корпус. Стоимость имущества оценили в 160 000 рублей.
4 декабря 1872 года владельцем дома №5 стал петербургский купец 2-й гильдии почётный гражданин Константин Михайлович Яковлев. В 1913 году по духовному завещанию он перешёл к его дочерям Юлии Константиновне княгине Кугушевой и Вере Константиновне Яковлевой. Сыну Павлу были выплачены отступные в размере 70 000 рублей.
В советское время дом №5 был надстроен ещё двумя этажами.
