В начале XVIII века владельцем этого участка на Английской набережной был корабельных дел мастер Ней. Он был одним из первых владельцев находящегося здесь каменного дома. Позже участок принадлежал Алексею Ивановичу Замятину, капитану Преображенского полка. Владение находится на углу набережной и Замятина переулка, название которого связано с фамилией Алексея Ивановича.
После Замятина домом владел некий Митусов. В 1830-х годах - почётный гражданин Александр Риттер. В 1869 году от него дом перешёл отставному поручику Сергею Павловичу Горсткину. При новом хозяине здание перестраивал архитектор Цезарь Альбертович Кавос. В это время здесь располагался двухэтажный особняк.
В 1884 году по проекту архитектора Ивана Петровича Мааса особняк был надстроен третьим этажом, была произведена перепланировка помещений. В это время им владел граф Сергей Михайлович Толстой. При графе особняк превратился в доходный дом. В дальнейшем здание незначительно переделывалось по проекту Александра Сергеевича Хренова.
В начале XX века этот доходный дом принадлежал графине Екатерине Леонтьевне Игнатьевой. В 1906-1913 годах здесь снимал квартиру известный русский театральный и художественный деятель Сергей Павлович Дягилев. В это время он организовывал выставки русских художников в Париже, Берлине, Монте-Карло, Венеции. В 1907 году - заграничные концерты симфонической музыки с участием А. К. Глазунова, С. В. Рахманинова, Н. А. Римского-Корсакова, Ф. И. Шаляпина. В 1908 году Дягилев организовывал сезон русской оперы в Париже. В 1909 году - оперно-балетный сезон русского театра.
В квартире дома №20 на Английской набережной Дягилев бывал наездами. Здесь он собирал своих единомышленников, подводил с ними итоги гастролей, обсуждал дальнейшие планы. Этот дом стал его последним адресом в Санкт-Петербурге.
В 1914 году доходный дом приобрёл Георгий Николаевич Лейхтенбергский - правнук Николая I, внук его дочери Марии и герцога Лейхтенбергского. Георгий Николаевич служил в Конногвардейском полку. В то время офицеры полка были обязаны жить рядом с казармами, находящимися неподалёку на Конногвардейском бульваре. По этой причине выбор герцога пал именно на этот дом. Он занимал здесь одну из самых богатых квартир с окнами на Неву. Другие квартиры продолжали сдаваться в наём. Вероятнее всего, что их снимали другие офицеры Конногвардейского полка.
При Лейхтенбергском здесь появился лифт. До сих пор на его ограде можно видеть вензель с инициалами герцога. В квартирах с того времени сохранился наборный паркет, деревянные двери, фурнитура на окнах. В настоящее время дом №22 продолжает оставаться жилым зданием.
