В начале XVIII века участком дома №70 на Английской набережной владел князь Михаил Васильевич Голицын. В находившемся здесь доме в 1738 году жил служитель грузинской царицы. В конце XVIII века территория принадлежала английскому купцу Б. Торнтону и английскому генеральному консулу Джону (Ивану) Келли. Об этом свидетельствует купчая от 10 сентября 1789 года:
К середине 1850-х годов весь участок принадлежал купцу 1-й гильдии Джорджу Эдуарду Келли, ему он достался от отца. Джордж Келли получил звание доктора ещё в Англии, в 1789 году. В Петербурге он вёл врачебную практику.
В 1870 году особняк приобрёл англичанин Самуил Васильевич Гвейер. Фасад и интерьеры дома в 1871 году для него переделывал архитектор К. И. Реймерс. Тогда здание получило существующий сейчас облик. Реймерс также выполнил ряд построек во дворе. После кончины Гвейера домом владела его вдова, Мария Алексеевна.
С 1896 по 1917 год особняком владел гвардии полковник А. В. Стеткевич. При нём архитектор Бередников надстраивал два этажа на здании со стороны Галерной улицы. Через два года гражданский инженер Г. П. Хржонстовский надстроил ещё один этаж и обновил планировку здания.
Предположительно в этом доме в 1940-1950-х годах находилось студенческое общежитие Академии художеств. Среди студентов ходила легенда, что дом Академии художеств передал А. И. Куинджи. Часто особняк ими так и назывался - "дом Куинджи".
С начала 2000-х годов дом №70 арендует туристическая фирма "Свелен".
