Согласно описи 1738 года участком дома №24 по Английской набережной владел капитан Яков Лобанов-Ростовский. В то время здесь находилось двухэтажное жилое здание, построенное по типовому проекту "для именитых".
В 1768 году особняк приобрёл английский купец Джеймс Джексон. Спустя семь лет участок стал принадлежать Марии Васильевне Олсуфьевой (урождённой Салтыковой), только что похоронившей своего мужа, Адама Васильевича. Супруги имели шестерых детей.
После смерти Марии Васильевны в 1789 году особняк перешёл по наследству её дочери Наталье Адамовне, бывшей замужем за тайным советником Григорием Павловичем Кондоиди. В 1793 году дом был заложен за 10 000 рублей надворному советнику Степану Борисовичу Струговщикову. Через восемь лет участок был заложен тому же человеку уже за 17 000 рублей. Цена возросла, так как в конце XVIII века особняк был надстроен, стал трёхэтажным. На этот раз сделка состоялась. В последующие годы владельцы участка неоднократно менялись.
В 1820 году домом №24 владела Александра Афанасьевна Татищева. В 1823 году - жена генерал-майора Сухарева. В 1832 - лифляндский дворянин Липгард, у которого в декабре 1837 года работал архитектор Карл Фоссати. В 1841 году участок принадлежал купцу Корнилу Корниловичу Шитте, у которого работал архитектор Леонард Шауфельбергер (старший). В 1850 году для очередного владельца Джона-Самуэля Роджерсона особняк переделывал Л. Л. Бонштедт.
В 1866 году участок перешёл к жене почётного гражданина, купца 1-й гильдии Варгушина - Ольге Николаевне. Далее он перешёл по наследству её сыну - директору товарищества Невской писчебумажной фабрики Ивану Петровичу Варгушину.
Следующим владельцем особняка в 1910 году стал действительный статский советник граф Виктор Викторович Скаржинский. Проект перестройки здания для него составил архитектор Г. В. Войневич, он не был реализован.
Фасад здания дошёл до нашего времени без изменений с XVIII века. Его интерьеры были переделаны в советское время, в доме появились коммунальные квартиры. Сейчас он продолжает быть жилым зданием.
