В конце 1730-х годов на этом участке Невского проспекта были построены одноэтажные деревянные торговые ряды для торговли серебром и драгоценными камнями. В 1783 году они сгорели. Проект существующего здания принадлежит Д. Кваренги, оно построено в 1784-1787 годах. Деньги на строительство выделяли купцы. Изначально в нижнем этаже галерея была открытой. В 1878 году галерею закрыли, в лицевой аркаде устроили витрины и входы в магазины. Здание находилось в собственности Общества лавковладельцев Серебряных рядов.
В 1955 году после разборки внутренних стен внутри здания устроили большой торговый зал, где долгое время работал спортивный магазин "Динамо". В 1981-1982 годах нижняя галерея была раскрыта (проект архитекторов Т. А. Болдырева, В. П. Козлова, В. А. Харламова). С 1980-х годов в Серебряных рядах работает Санкт-Петербургский фонд культуры (первоначально - Ленинградское отделение Советского фонда культуры). В 1999 году в здании разместился ювелирный салон "Ананов", для которого аркада вновь была застеклена.
