Первой владелицей участка дома №66 на Английской набережной в начале XVIII века была жена генерала М. А. Матюшкина. В середине столетия дом принадлежал банкиру Ричарду Сутерленду, которому в 1788 году был дарован титул барона Российской империи. Ричард Сутерленд жил в Петербурге ещё с петровских времён. Он возглавлял архангельские верфи, а затем занимался банкирской деятельностью. В 1791 году англичанин разорился, покончил жизнь самоубийством. Особняк на набережной перешёл в казну.
В конце XVIII века Павел I подарил этот участок Марии Саввичне Перекусихиной. Поводом для такого подарка стало почти 40-летнее служение Екатерине II. Кроме петербургского дома она получила пожизненную пенсию размером 1 200 рублей в год и имение в Рязанской губернии. Мария Саввична жила уединённо и скромно, в окружении портретов покойной императрицы и её мебели. Умерла она в 1824 году.
Следующими владельцами особняка стали почётные граждане Петербурга, купцы-миллионеры братья Алексей и Александр Петровичи Сапожниковы. Переоформление интерьеров для них осуществляли несколько архитекторов, в том числе Н. П. Гребёнка. Он также изменил фасад и соорудил ряд дворовых построек. Александр Сапожников хранил в особняке коллекцию живописи, среди которой были произведения Леонардо да Винчи, Джорджоне, Рубенса, Ван-Дейка, Пуссена, Тинторетто, Бронзино. Ему принадлежала знаменитая "Мадонна с цветком", ныне хранимая в Эрмитаже. Известна она также и как "Мадонна Бенуа". Внучка Сапожникова вышла замуж за архитектора Леонтия Николаевича Бенуа, фамилия которого в начале XX века стала ассоциироваться с картиной Леонардо да Винчи.
В 1870-х годах дом №66 перешёл от Сапожниковых к князю Леониду Дмитриевичу Вяземскому и его сестре Лидии Дмитриевне. Для них особняк перестраивал П. П. Мижуев. Он же перестроил дом со стороны Галерной улицы.
В 1900 году особняк принадлежал тайному советнику Ивану Алексеевичу Вышнеградскому. При нём ремонтом здания занимался С. С. Попов. Перед 1917 годом участком владели брат и сестра Александра Валериановна и Олег Валерианович Вонлярлярские.
В настоящее время дом остаётся жилым.
