Короткий Шведский переулок соединяет Большую и Малую Конюшенную улицы. Квартал между ними с 1733 года принадлежал шведско-финской общине. Вскоре финны и шведы разделились, поделили территорию между собой. Существовавшая уже тогда здесь церковь осталась за первыми, тогда как вторые в 1767-1769 годах построили новый храм, чуть севернее старого. Для проезда к нему была проложена новая улица, в 1821 году ставшая Шведским переулком. Иногда его обозначали 1-м Шведским. 2-м Шведским называли соседний переулок, сейчас называющийся Чебоксарским.
При первой шведской церкви на углу Шведского переулка и Малой Конюшенной улицы в 1771 году был построен жилой дом (№3). Через четыре года возвели соседний - на углу переулка и Большой Конюшенной (№1). Свой современный облик они получили в середине XIX века. К 1840-м годам относится постройка трёхэтажного дома №2.
В 1863-1865 годах вместо старого обветшавшего храма был построен новый, на это раз на Малой Конюшенной улице.
Сейчас Шведский переулок представляет из себя тупик, так как Малая Конюшенная улица с 1997 года является пешеходной. Проезд по нему регулируется шлагбаумом.
