Участок дома №23 по Невскому проспекту с 1740-х годов принадлежал семье купцов Серебряковых. С 1830-х до 1917 года им владели графы Строгановы. Первый построенный здесь дом в полтора этажа с въездными воротами в левой части участка оставался таким дольше всех соседний зданий. Это хорошо заметно по панораме Невского проспекта В. С. Садовникова.
Наконец, в 1838-1839 годах С. В. Строганова заказала перестройку здания. Архитектор П. С. Садовников возвёл здесь трёхэтажный дом в формах позднего классицизма, а также дворовые корпуса по периметру участка. Характерной чертой дома №23 по Невскому проспекту стали арочные окна первого этажа. Здесь работал магазин чая и сахара В. П. Орловского, а затем - магазин по продаже швейцарских часов торговой фирмы "Павел Буре", Генеральное общество страхования жизни, торговый дом "Артюр".
В 1908 году архитектор Д. А. Шагин надстроил дом ещё двумя этажами. В 1910-х годах здесь находились центральная театральная касса, Санитарно-технический институт, контора Соединённого банка, Биржевая коммерческая артель. В 1912 году на крыше дома Строгановых была установлена первая в Петербурге световая реклама, что было сделано "Всеобщей компанией электричества".
В 1920-х годах здесь размещался "Электробанк".
В настоящее время в доме снова работает часовой магазин "Павел Буре". Для него правая часть фасада на уровне первого этажа облицовывалась гранитом.
