Участок дома №32 по Большой Морской улице в 1740-х годах принадлежал протестантскому пастору Нациусу. Этот пастор служил при лютеранской церкви, проводил проповеди в церкви Святого Петра на Невском проспекте. Его участок выходил к Мойке. Дом со стороны Большой Морской улицы был выстроен по типовому проекту, однако имел более богатую отделку по сравнению с соседними. Хозяин принимал постояльцев. После Нациуса домом владели его наследники.
От наследников Нациуса (сержанта Никиты Прокофьевича и жены купца Бенигны Магладены) участок в 1763 году перешёл к Софии де Лафон, владевшей также домом №10 на Большой Морской улице. С 1765 года она переселилась в Смольный институт, так как стала его управляющей. Через два года дом №32 она отдавала в залог.
В конце XVIII века участок числился за казной. В 1797 году император Павел I именным указом даровал его Григорию Григорьевичу Кушелеву. После вступления на престол Александра I Кушелев ушёл с государственных постов. В 1806 году участок ещё числился за ним, но был разделён на две части. В этом же году Кушелев их продал за 36 000 рублей Ивану Гавриловичу Бахерахту. Его отец владел соседним участком (наб. Мойки, 75), а также домом №59 на Большой Морской улице. Жена Ивана Бахерахта владела домом №6, в 1812 году стала одной из учредительниц Женского патриотического общества.
Иван Гаврилович Бахерахт оставил за собой территорию со стороны Мойки, её часть со стороны Большой Морской продал сенатору Сергею Петровичу Хитрово. В 1807 году он здесь строил для себя новый дом, к этому времени ему было далеко за 60 лет. С ним здесь обитала его супруга Елизавета Ивановна. Хитрово умер в 1827 году.
К 1833 году особняк принадлежал гвардии ротмистру графу Павлу Матвеевичу Толстому, женившемуся на дочери Хитрово Надежде Сергеевне. Она скончалась в 1831 году. П. М. и Н. С. Толстые владели также домом №52 по Большой Морской улице. К концу 1840-х годов здание здесь было двухэтажным с мезонином. Справа, на месте въездных ворот, стоял двухэтажный флигель.
В 1858 году дом приобрёл купец Николай Фёдорович Штанге. Для него здание подвергалось переделкам, строительные работы здесь вёл архитектор Н. П. Гребёнка.
В 1880-х годах участок выкупил Русский для внешней торговли банк. В 1887-1888 годах здесь появилось одно из первых специализированных банковских зданий. Его архитектором стал Виктор Александрович Шретер. Фасад нового здания был облицован вюртембергским песчаником. Цоколь и портал с колоннами выложены камнем красного цвета, бельэтаж - зелёным, а верхние этажи - жёлтым. Фасад украшает керамический орнамент.
Несмотря на поздние переделки здесь сохранился двухъярусный операционный зал. Он перекрыт куполом из ферм, которые опираются на металлические колонны, что для того времени было инженерным новшеством.
В начале ХХ века Русскому для внешней торговли банку принадлежали также два соседних дома №30 и 34.
