Дом №4 по Большой Конюшенной улице (№1 по Шведскому переулку) находится на территории, которая вошла в территорию Петербурга в 1730-х годах. Тогда она была передана императрицей Анной Иоанновной во владение финско-шведской общине. Впоследствии финны и шведы разделились, поделив эту территорию между собой. Её часть со стороны Большой Конюшенной улицы осталась первым из них.
Дом №4/1 стал первым каменным жилым зданием на участке финской общины. Он был построен в 1775 году. В 1847-1848 годах его надстроили до четырёх этажей. Проект этой перестройки составил архитектор Г. Э. Боссе, чьим помощником тогда был К. К. Андерсон. Незадолго до этого Боссе построил соседние дома №6 и 8 по Большой Конюшенной улице. Балконы всех трёх зданий оформлены одинаково.
В 1860-х годах в этом доме жили профессор живописи Р. Пиккарт и художник И. А. Трейлебен. В конце XIX века здесь работали церковное училище, портретная мастерская А. И. Дурдина, гимнастическое общество "Сокол", портновские мастерские. В дворовом флигеле в 1888 году архитектором Ф. Б. Нагелем был создан "Зал под сводами".
С советского времени в угловом помещении дома №4/1 продолжает работать продуктовый магазин "Парнас".
