Дом №1 по Малой Конюшенной улице (№3 по Шведскому переулку) находится на территории, которая вошла в городскую черту в 1730-х годах. Именно тогда императрица Анна Иоанновна отдала этот квартал финско-шведской общине. Впоследствии финны и шведы разделились, поделив территорию между собой. Её часть со стороны Малой Конюшенной улицы осталась за вторыми из них. В 1760-х годах рядом со старой финской церковью был построен новый шведский храм. Для подъезда к нему был проложен Шведский переулок.
В 1771 году на углу Шведского переулка и Малой Конюшенной улицы появилось каменное здание. Здесь поселились священники и служители шведской церкви. В одном из жилых домов шведской общины в 1812 году жил поэт К. Н. Батюшков, возможно - именно в доме №1/3. С марта до ареста 6 октября 1884 года здесь жил активист освободительного движения Г. А. Лопатин, боровшийся за восстановление партии "Народная воля", разгромленной после убийства Александра II.
Свой облик дом №1/3 приобрёл в середине XIX века. При постройке дома №3 по Малой Конюшенной улице архитектором А. Ковшаровым была составлена опись всех имеющихся на участке шведской церкви строений, в том числе и дома №1. Тогда, в 1900-х годах, здесь имелось 24 квартиры в три или пять комнат. Каждая из них имела кухню, переднюю, один или два туалета. В доме №1 жили церковный служитель Мальмберг (в квартире №6), пастор Юханнес Карванен (квартира №16), эконом шведского прихода Бергер Александрович Гельсингус (квартира №21), пастор Герман Каянус (квартира №1). Квартира последнего состояла из 10 комнат и стоила 2 640 рублей в год. В ней кроме семьи Каянуса жила его приёмная дочь Марта Нильссон и две учительницы церковной школы. После 1905 года на первом этаже работала канцелярия прихода шведской церкви.
В 1996-1997 годах дом №1 претерпел капитальный ремонт, чему способствовало Министерство финансов Швеции. По проекту архитектора Р. М. Даянова фирмой "Сканска" здесь был создан современный офисный центр "Шведский дом". В здании разместились офисы иностранных фирм. С Васильевского острова сюда переехало Генеральное консульство Швеции. Его вход находится там, где век назад был вход в канцелярию прихода шведской церкви.
