Первый полутораэтажный дом на этом участке Невского проспекта был построен в 1740-х годах для адьютанта генерал-фельдмаршала П. С. Салтыкова Александра Даниловича Янкова. В 1753 году дом приобрёл придворный повар Шестаков, уступивший свой соседний участок под дворец Строгановых.
В 1763 году у вдовы капитана Никиты Шестакова (сына повара) дом №19 по Невскому проспекту купили братья Егор и Иван Рудомётовы, подпрапорщики Измайловского полка. В конце XVIII века вместо въездных ворот в левой части участка был построен узкий трёхэтажный корпус.
В 1830-х годах дом №19 приобрела хозяйка Строгановского дворца графиня С. В. Строганова. Придворный архитектор Строгановых П. С. Садовников надстроил правый корпус, создал единое здание в классическом стиле. Здание стало доходным домом Строгановых. В середине XIX века здесь открылся трактир "Строганов", магазин табачной фабрики "Саатчи и Мангуби". В 1864 году архитектор К. И. Лоренцен изменил отделку фасада, сделав его эклектичным. Им же был надстроен павильон для фотоателье, который арендовало заведение фотографа Г. Деньера. Позже в здание въехал банкирский дом А. Альванга.
В 1920-х годах в доме №19 по Невскому проспекту работало издательство "Мысль", книжный магазин. С 1930-х годов - филиал редакции газеты "Известия".
Последний раз дом Строгановых перестраивался в 1955 году по проекту Г. И. Иванова. Здание стало четырёхэтажным. Архитектор переделал фасад здания, сделав его строго классическим. В 1996 году дом Строгановых был передан Русскому музею. В 2003 году здесь был открыт парфюмерный магазин "Брокаръ".
В прессе периодически появляется информация о планах реконструкции дома Строгановых в современный бизнес-центр.
