Первое деревянное строение на участке дома №22 по Миллионной улице было построено в начале XVIII века для вице-адмирала Мартына Петровича Госслера. С января 1727 года он был директором петербургской Адмиралтейской конторы. Дом Госслера сгорел в 1736 году при пожаре в Морской слободе, который уничтожил все строения в округе.
В 1736-1737 годах архитектором Г. Крафтом здесь был построен новый каменный особняк для графа Фёдора Андреевича Апраксина, племянника адмирала Ф. М. Апраксина. Дом был построен в формах позднего петровского барокко. Изначально слева от особняка располагались ворота. Супругой Ф. А. Апраксина была графиня Александра Михайловна Шереметева, внучка фельдмаршала Б. П. Шереметева.
Краевед В. Измозик в книге "Миллионная улица" пишет о том, что следующим владельцем особняка стал Густав Бирон, брат фаворита императрицы Анны Иоанновны. В середине XVIII века участком владел архитектор Г. Крафт. Историк Г. Зуев в книге "Течёт река Мойка" при перечислении хозяев участка не упоминает Бирона и Крафта [2, с. 356]. Он утверждает, что после смерти Ф. А. Апраксина территория отошла его сыну Александру Фёдоровичу Апраксину, который в 1773 году продал его камер-юнкеру Василию Семёновичу Васильчикову.
При В. С. Васильчикове главное усадебное здание перестраивалось по проекту Антонио Ринальди (предположительно). Именно тогда вместо крытого крыльца здесь появился мраморный четырёхколонный портик. Стены гладко оштукатурили, после чего дом приобрёл существующий сейчас облик. Владелец особняка был женат на дочери графа К. Г. Разумовского Анне.
Васильчиковым в 1776 году участок был продан бывшей жене герцога Петра Бирона Евдокии Борисовне. Та через два года скончалась, территория перешла во владение её брату князю Н. Б. Юсупову. Ещё через три года князь продал особняк со всей обстановкой за 45 000 рублей княгине Екатерине Петровне Барятинской. От неё в 1789 году дом достался сенатору А. И. Дивову.
В 1795 году дом Дивова был куплен казной. Екатерина II подарила его младшему из братьев Зубовых - Валерию. Через три года участок был в руках княгини Марии Григорьевны Голицыной. В 1802 году дом №22 перешёл во владение графа Виктора Павловича Кочубея, который с этого времени возглавлял ведомство внутренних дел. В последующие годы он был членом Государственного совета, руководителем ряда других государственных учреждений. После отставки в 1807 году Кочубей продал особняк князю Василию Васильевичу Долгорукому. Тот спустя 10 лет продал его князю Алексею Борисовичу Куракину. В 1820-х годах в доме Куракина жил посол Великобритании.
В 1822-1872 годах домом №22 владел князь Александр Михайлович Потёмкин. Он жил в квартире №3. При нём в здании находилась домовая церковь Сретения Господня. Атлас Н. Цылова показывает, что к 1849 году корпус со стороны Мойки имел четыре этажа. Благодаря супруге Потёмкина Татьяне Борисовне дом на Миллионной улице стал одним из центров благотворительности. После Потёмкина участок принадлежал графу Николаю Павловичу Игнатьеву, который в 1881-1882 годах был министром внутренних дел.
Следующим владельцем особняка в 1904 году стал князь Семён Семёнович Абамелек-Лазарев. Одновременно с этим участком он выкупил и соседний участок дома №23 на набережной Мойки. Со зданием на Миллионной улице они связаны переходами через дворовые флигели. Князь выкупил этот особняк после того, как был вынужден по условию завещания отца покинуть свой дом на Невском проспекте (№40). Он переходил во владение Армянской церкви. Часть здания, выходящая на реку Мойку (дом №21), по проекту Е. С. Воротилова в 1907-1909 годах была основательно перестроена. По всей видимости её новый облик напоминал новому владельцу тот самый дом на Невском, откуда он переехал. Вопрос о возможности использовать для отделки нового дома Абамелек-Лазарева предметов из дома №40 на Невском проспекте обсуждалась 30 апреля 1908 года на совете церковной армянской епархии Санкт-Петербурга. Интересы князя представлял архитектор А. И. Таманов. Совет постановил:
К протоколу Совета был приложен реестр переносимых предметов:
Кроме всего прочего в новый княжеский дом были перенесены балконная решётка, оконные рамы, дверные и оконные проёмы и прочие детали. Ремонт в доме на Невском проспекте С. С. Абамелек-Лазарев выполнил за свой счёт. Архитектору Таманову даже пришлось умерить пыл заказчика, который собирался оставить лишь пустую коробку здания на Невском проспекте. Он предложил оборудовать его точными копиями вывозимых предметов, настаивал на обязательном их предварительном фотографировании.
С. С. Абамелек-Лазарев переехал в дом на Миллионной улице в 1910 году. По случаю переезда 19 января был устроен пышный раут для 250 гостей, о чём сообщили петербургские газеты. Журнал "Столица и усадьба" в 1915 году так описывал интерьеры особняка:
В 1911 году Абамелек-Лазарев выкупил соседний дом №24 по Миллионной улице, в 1913-1915 годах был перестроен и он. Фасад дома №22 стал шире на два окна. Дом №24 был дополнен въездными воротами, в нём провели перепланировку. В те же годы архитектор И. А. Фомин перестроил дом №23 на набережной Мойки. После смерти в 1916 году С. С. Абамелек-Лазарева и до революции 1917 года домом владели его наследники.
В 1920-1925 годах эти здания арендовал Пушкинский дом для размещения части фондов и организации выставок. В 1927 году дом №22 был передан Центральному дому работников физической культуры, а в 1933 году здесь стал работать Комитет по физической культуре и спорту.
