Участок дома №22 на улице Чайковского с 1740-х годов принадлежал различным хозяевам, часто переходил из рук в руки. С 1748 года им владел генерал граф В. В. Фермор, в это время возглавлявший Канцелярию от строений, наблюдавший за строительством Новодевичьего (Смольного) монастыря. В 1790 году его сыном двор был продан.
В первой трети XIX века здесь числился двухэтажный каменный дом в девять окон, с балконом в центре второго этажа. В 1840-х годах архитектором Августом Ивановичем Жоффрио здание было надстроено третьим этажом, расширено на четыре окна слева и справа. Эти работы проводились при владельце участка генерале-майоре Василии Алексеевиче Бибикове, внуке А. И. Бибикова, подавлявшего восстание Пугачёва.
В 1849 году архитектором Александром Петровичем Гемилианом был составлен проект надстройки здания четвёртым этажом, однако в прошении о проведении таких работ было отказано. После генерала Бибикова участком владела его дочь Александра, сдававшая здесь квартиры в наём. В 1867 году здесь жил сенатор А. Д. Башуцкий и поэт В. П. Буренин. В 1876 году по наследству от Александры дом перешёл её мужу генерал-лейтенанту Александру Григорьевичу Лошкарёву.
В 1888 году во дворе по проекту К. К. Циглера был построен четырёхэтажный флигель. В 1909 году по проекту В. И. Ван дер Гюхта перестраивалась парадная лестница. В 1910-х годах здесь снимали квартиры вдова генерал-лейтенанта княгиня Анна Алексеевна Багратион, дочь контр-адмирала Мария Геннадиевна Ратькова-Рожнова, князь Николай Сергеевич Голицын.
С 1910-х по 1917 год домом владел Сергей Александрович Голенищев-Кутузов, по мужской линии последний в графской ветви Голенищевых-Кутузовых.
После 1917 года дом занимали Комитет по устройству офицеров, прибывающих с фронта и общежитие. В нескольких квартирах располагалась миссия Китая. В 1925-1928 годах здесь жили китайцы (квартиры №7, 22 и 28).
