Участок дома №16 на Биржевой линии (№2-4 по Биржевому переулку) с начала XVIII века входил в состав усадьбы князя Александра Даниловича Меншикова. В 1790-х годах занимавший усадьбу Кадетский корпус начал продавать эту территорию частным лицам. В первой четверти XIX века здесь были построены двухэтажные каменные склады. Они стали первым местом винной торговли знаменитой купеческой династии Елисеевых, здесь в 1824 году началась деятельность их фирмы.
К середине XIX столетия корпус со стороны Биржевой линии принадлежал коммерции советнику Ивану Алексеевичу Жадимировскому, со стороны Биржевого переулка - коммерции советнику Петру Фёдоровичу Меняеву. В 1860-х годах дома №12, 14 и 16 по Биржевой линии приобрела купеческая семья Елисеевых. В 1868-1869 годах архитектор Н. П. Гребёнка расширил для них складской комплекс, сделав их самыми современными винными кладовыми не только в России, но и во всём мире. Каждый сорт вина хранился здесь в своём собственном помещении с необходимым микроклиматом.
Как и соседние здания, в 1920-х годах складские сооружения передали Государственному оптическому институту. Для него в 1938-1939 годах по проекту архитекторов Б. С. Ребортовича и А. И. Гегелло корпус по Биржевой линии был надстроен ещё двумя этажами. Фасад был переработан с сохранением части прежних деталей. К ним добавились скульптурные эмблемы науки и техники. В 1930-х годах здесь работал музей Ленинградского союза потребительской кооперации (ЛСПО).
В 2000-х годах во дворе дома №16 появился элитный жилой комплекс "У Ростральных колонн". Тогда же корпус по Биржевому переулку был отреставрирован, в нём открылись магазины и офисные помещения.
