Участок дома №39 на набережной Лейтенанта Шмидта в 1718 году был отдан для строительства жилья архиерея и священнослужителей Ростовской епархии. В 1720 годах построили архиерейский дом, в эти же года - дом с юго-западной стороны для советника Сибирской канцелярии Н. П. Салтыкова. Оба здания вошли в типовую застройку набережной по проекту Д. А. Трезини. При их строительстве архитектор пользовался типовыми проектами зданий, разработанных Ж. Б. Леблоном. Здания имели высокие крыльца с двумя сходами. Под каждым из крылец находилась арка.
Со временем облик домов изменился незначительно. В бывшем доме Салтыкова вместо крыльца соорудили арочный портал. В 1820-х годах разобрано крыльцо архиерейского дома, устроены внутренние лестницы со стороны двора. Тогда же дом Салтыкова перешёл в собственность подворья, стал Свитским домом.
В 1838-1840 годах архитектором А. Ф. Щедриным производился капитальный ремонт зданий. Были обновлены двери, полы, русские и голландские печи. Черепичную крышу заменили листовым железом. В 1840 году был установлен позолоченный крест и надпись "Ярославское Архиерейское подворье" над аттиком.
В настоящее время здания принадлежат Санкт-Петербургской епархии и используются приютом "Дом милосердия".
