Территория, на которой стоит дом №2 по Шведскому переулку, с 1730-х годов была застроена жилыми домами служителей придворного Конюшенного ведомства. Их мазанки стояли на берегу Екатерининского канала (ныне Грибоедова), у Конюшенной площади. Постепенно их перестраивали в дереве. В середине 1790-х годов в центре квартала было построено большое здание в виде каре. В нём разместились придворная конюшенная контора, экипажный комитет, квартиры чиновников и служителей, каретные сараи, музей.
Здание спрятано в глубине квартала. "Наружу" смотрит лишь корпус по Шведскому переулку, на который замыкается перспектива Малой Конюшенной улицы. Постройка именно этого здания отделила улицу от Конюшенной площади. Противоположный корпус можно найти зайдя под арку здания музея Конюшенного двора. По занимаемой площади это здание превосходит даже находящийся неподалёку Инженерный замок.
В начале XIX века в квартале работал архитектор Л. Руска. Он перестраивал отдельные корпуса, изменял их фасады, увеличивал полезную площадь. В 1806 году здесь открылось Спасское приходское училище, названное по церкви Придворно-конюшенного ведомства.
Одна из находящихся здесь квартир в 1833 году стала местом весьма странного происшествия. Весь Петербург только и говорил о том, что в квартире чиновника Конюшенного ведомства то и дело сама прыгает мебель. Дело дошло до официального разбирательства. В дом пригласили священника, во время молитвы которого столы и стулья перемещались с места на место. Эта мистическая история отразилась в повести Н. В. Гоголя "Нос".
В 1838 году дом был надстроен по проекту архитектору А. И. Буржуа. Позже была произведена надстройка третьего этажа. В 1843-1851 годах А. И. Буржуа производил перестройку жилых корпусов для устройства в них офицерских и служительских квартир, госпиталя, кузницы и прачечной. В конце 1840-х годов приобрёл имеющийся сейчас облик корпус вдоль Шведского переулка.
В советское время дом №2 по Шведскому переулку занимал кустовой вычислительный центр Главленавтотранса. Позже его заняли Стокгольмская школа экономики, офис фирмы "Quelle", кафе и другие учреждения.
