До последней трети XVIII века участок дома №12 по Невскому проспекту входил в состав Адмиралтейского луга, ставшего Дворцовой площадью.
Первый дом здесь был построен в 1768 году по типовому проекту архитектора А. В. Квасова для жены полковника Александра Васильевича Толстого Елизаветы Васильевны. В 1777 году она продала дом портному Карлу Фридриху Гейдеману, а тот в 1782 году - генерал-поручику А. Д. Ланскому, фавориту Екатерины II. Ланской умер через два года. У его наследников в 1786 году дом купил князь А. Я. Шаховской.
К 1804 году домом №12 владел богатый греческий купец Иван Калержи, приехавший в Петербург примерно в 1800 году.
С 1819 года верхний этаж дома Калержи снимал военный губернатор Петербурга граф Михаил Андреевич Милорадович, вступивший на этот пост за год до этого. По словам историка А. И. Михайловско-Данилевского квартира Милорадовича была похожа на "магазины мебели или изящных художеств по великому множеству разнообразных предметов и вещей, в них находившихся; я не видел нигде подобного убранства: это был совершенно беспорядок, соединённый с утончённым вкусом. Например, тут стояли картины Тициана, Вернета, Сальватора Розы, Гвидо Рени, а подле них книги, планы, птицы, трубки, янтарные мундштуки и два фортепиано. Почти каждая горница имела своё собственное освещение; в одной свет происходил от восковых свечей, в другой - от алебастровых ламп, в третьей свечи были приспособлены таким образом, чтобы их не было видно, и они освещали одни картины. Одна комната была вся зеркальная: не только стены, но и потолок состоял из зеркал; другая комната убрана была диванами а турецкий манер, и в ней повешены были самые сладострастные картины. Посреди библиотеки был птичник; прекрасные мраморные статуи находились повсюду. "Где же ваша спальня?" - спросил я его. "У меня нет спальни, - отвечал он, - я провожу ночь, где мне вздумается". В одной зале, где находились прекрасные картины и статуи, я увидел чёрную мраморную вазу. Возле неё стоял горшок с увядшим кипарисом, и на вопрос мой ,что сие значит, хозяин ответил мне, что "это памятник моего потерянного счастья"" [Цит. по: 3, с. 595, 596].
Весной 1820 года М. А. Милорадович вызывал к себе А. С. Пушкина в связи с распространением его вольнолюбивых и фривольных стихов. Губернатор выехал из дома Калержи в начале осени 1822 года. Ещё с июня в "Санкт-Петербургских ведомостях" давалось объявление о сдаче с сентября "двух этажей, в коих жительствует ныне Его сиятельство С. П. Б. Военный Генерал-Губернатор гр. Михайло Андреевич Милорадович" [Цит. по: 3, с. 597]. При переезде в казённые апартаменты (Большая Морская ул., 38) ему помогал перевозить вещи специальный отряд.
После смерти Ивана Калержи в 1837 году дом №12 перешёл во владение его сыну Ивану Калержи-младшему. Тому тогда было всего 23 года, но он уже стал одним из ведущих торговцев вывозимой из России пшеницы. Он был одним из богатейших людей в стране. 3 января 1839 года он женился на 16-летней племяннице министра иностранных дел княжне Марии Нессельроде. Подарком молодой жене стал дом №12 по Невскому проспекту, а также счёт в одном из петербургских банков на 600 000 золотых рублей.
Брак Ивана и Марии Калержи не стал счастливым. Супруг оказался чрезвычайно ревнив. Заграничное свадебное путешествие пришлось прервать, Мария вернулась в Петербург, где 5 января 1840 года у неё родилась дочь, о чём отец поначалу даже не был извещён. Поселилась Мария не в подаренном ей доме, а у дяди вице-канцлера. Узнав об этом, Иван Калержи срочно переселил жену и дочь в дом на Невском проспекте. Он запретил ей выходить из дому без разрешения, окружив горничными. В начале осени 1840 года Марии удалось покинуть столицу и переехать в Варшаву к отцу. Впоследствии в Петербург она приезжала зимой 1852-1853 годов. Жила Мария здесь, а концерты давала в салоне графов Виельгорских. После смерти Ивана Калержи Мария вышла замуж за Сергея Сергеевича Муханова. Дом №12 был ей продан надворной советнице Вере Шишкиной.
В 1870-х годах в доме №12 по Невскому проспекту находилась банкирская контора А. Зингера.
У наследников С. В. Шишкина здание в 1910 году было выкуплено коммерческим банком "Юнкер и К". Он был основан в Москве в 1869 году [3, с. 607]. В начале XX века появился петербургский филиал, который до переезда сюда размещался в доме №22 по Невскому проспекту.
Автором проекта перестройки дома №12 стал архитектор Вильгельм Иванович ван дер Гюхт. Возможно, ему помог в этом архитектор Эриксон. Новое банковское здание было построено в рекордные сроки, за зиму и весну 1910-1911 годов. Оно облицовано красным шведским гранитом. Соответствующие работы выполняло Восточно-Финляндское гранитное акционерное общество (г. Выборг) и конторой инженера А. И. Гури.
В годы Первой мировой войны контрольный пакет акций банка выкупил финансист Д. Л. Рубинштейн. После его ареста (в 1916 году) учреждение перешло Московскому промышленному банку.
После революции 1917 года дом №12 был национализирован. Большую часть его помещений отдали под жильё. В годы НЭПа в первом этаже открылись магазины одежды, продолжавшие работать и после свёртывания "новой экономической политики". В 1920-х годах здесь располагались конторы и магазины "Ленинградтекстиля".
В 1992 году здание было передано в аренду банку "Лионский кредит". В августе 2000 года здесь были открыты магазины модной одежды, принадлежащие российской компании "Bosco di Cilirgi" Михаила Эрнестовича Куснировича.
