Один из первых владельцев этого участка на Английской набережной - генерал Иван Иванович Бутурлин. В 1727 году он был выслан из Санкт-Петербурга и в конце 1730-х годов здесь уже жил английский подданный.
В конце XVIII века участок принадлежал купцу Миллеру, затем англичанину Альбрехту и его наследникам.
В 1830-х годах находящееся здесь здание перешло во владение Морского министерства. Вероятно, здесь жили его служащие, в том числе мореплаватель Фёдор Петрович Литке. В 1856 году он владел уже всем домом. К этому времени Фёдор Петрович был членом Государственного совета. Здесь он работал над своими научными трудами, готовился к заседаниям Госсовета. В 1864 году он был назначен президентом Академии наук. В 1866 году стал графом. При Литке дом на набережной перестраивался архитектором Иоганном Ивановичем Цимом. В 1869 году Фёдор Петрович решил поселиться в казённой квартире Академии наук. Особняк же был продан.
Следующим владельцем дома стал баварский генеральный консул Эдуард Морицевич Майер. Для него коренную перестройку здания в 1870-1871 годах осуществил архитектор Карл Карлович Рахау. Основные свои черты главный фасад здания сохраняет с того времени.
Последним владельцем этого дома был потомственный гражданин Андрей Андреевич Шварц. Для него перестройки здания осуществлялись архитекторами Леонардом Антоновичем Фащевским и Дмитрием Дмитриевичем Зайцевым.
В 1920-х годах гостиные и залы особняка были переделаны в квартиры.
В настоящее время дом остаётся жилым. Здесь живут и иностранцы. На деньги итальянского генерала Джана Альфонсо Давоссэ во дворе дома восстановлен фонтан.
