Участок дома №20 на Английской набережной с начала XVIII века представлял из себя два отдельных владения. На одном из них в 1737 году стоял богато оформленный дворец в стиле барокко в 11 окон по фасаду, принадлежавший морскому капитану Ивану Муханову. В 1764 году этот дом был куплен Екатериной II и подарен графу Алексею Григорьевичу Орлову. Сохранилось описание праздника, устроенного по этому поводу:
Соседний с особняком Орлова дом был гораздо скромнее, пяти окон по фасаду. Он принадлежал служащему Коллегии иностранных дел М. Г. Собакину.
В конце XVIII века оба дома были куплены Алексеем Андреевичем Голицыным. 20 июня 1801 года его вдова Александра Петровна заложила дом императорскому воспитательному обществу за 25 000 рублей.
В 1810-х годах дом был приобретён Коммерческим обществом на деньги его членов - купцов. Здесь купцы обсуждали свои дела, проводили время. В доме Коммерческого общества работала таможня. В специальном зале проводился досмотр привезённых купцами товаров.
В доме Коммерческого общества проводились благотворительные базары. В газете "Северная пчела" за 1840 год они описывались так:
Здесь же устраивались концерты филармонического, театрального и других обществ.
В 1866 году дом №20 приобрёл Владимир Петрович Орлов-Давыдов - правнук Алексея Григорьевича Орлова. Здесь же он скончался в 1882 году. Дом перешёл его сыну Сергею Владимировичу. Для него помещения были переделаны архитектором Николаем Всеволодовичем Дмитриевым. Тогда здание было ещё двухэтажным.
В начале XX века после смерти Сергея Владимировича дом принадлежал его вдове. Она превратила его в доходный дом. Здесь снимали квартиры художник А. А. Рылов, князь В. Н. Тенишев. В книге Л. И. Бройтман "Гороховая улица" дом №20 упоминается в связи с доходным домом №5 по Гороховой, последним владельцем которого перед 1917 годом был Алексей Анатольевич Орлов-Давыдов. Именно он по мнению автора был владельцем участка на набережной, жил здесь же. Алексею Анатольевичу, церемониймейстеру двора, дом №20, равно как и доходный дом, достался от отца - Анатолия Владимировича, старшего брата Сергея Владимировича [2, с. 30].
После 1917 года дом №20 стал местом жительства творческой интеллигенции. Здесь жили учёные, артисты. писатели. Огромные залы были перестроены в квартиры. В 1928-1941 годах здесь часто бывал Дмитрий Дмитриевич Шостакович, знакомый с жильцами дома сёстрами Варзар. Многие из жильцов этого дома бесследно исчезли в 1937 году.
В 1950-х годах при капитальном ремонте дом был надстроен третьим этажом.
В настоящее время дом №20 на Английской набережной является жилым домом с квартирами состоятельных людей.
