Участок дома №12 на Биржевой линии с начала XVIII века входил в состав усадьбы князя Александра Даниловича Меншикова. В 1790-х годах занимавший усадьбу Кадетский корпус начал продажу участков вдоль улицы частным лицам. К середине XIX столетия территория принадлежала супруге коллежского асессора Елизавете Егоровне Бек. При ней здесь располагалось двухэтажное каменное здание.
В начале 1860-х годов дом №12 перешёл от чиновника Политковского к купцу П. Е. Елисееву, основателю знаменитой купеческой династии. В 1884 году существующее здесь здание было перестроено по проекту архитектора А. К. Бруни. Фасад дома стало украшать изображение государственного герба, коим был награждён Торговый дом "Братья Елисеевы". Надстройка сооружения производилась в 1894 году по проекту гражданского инженера Г. В. Барановского. Им же здесь оборудовались конюшни.
Как и соседние здания, этот дом в 1920-х годах был передан Государственному оптическому институту. В последующие десятилетия здесь велась активная научная деятельность. Среди трудящихся в институте учёных с мировыми именами были В. А. Фок, П. С. Эренфест, Г. А. Гаммов, С. Э. Фриш, В. Г. Прокофьев. Членом-корреспондентом Академии наук Ю. Н. Денсюком здесь была открыта трёхмерная голография. Рядом с ГОИ размещались НИИ космической оптики и НИИ лазерной физики.
На фасаде здания укреплены памятные доски с именами работавших здесь в 1918-1953 годах химика И. В. Гребенщикова, в 1919-1967 годах - физика А. Н. Теренина, в 1926-1984 годах - физика В. П. Линника.
