К 1790-м годам на месте дома №2 по набережной Кутузова находился сад при доме протоиерея А. А. Самборгского (дом №4). Андрей Афанасьевич был знатоком сельского хозяйства и садоводства, для своего усадебного хозяйства выкупил этот пустующий участок. Здесь были посажены выписанные из-за границы плодовые кусты и деревья. На плане 1849 года здесь отмечена Сальбургская площадь.
К середине XIX века дом Самборгского был занят офицерскими квартирами. В 1851 году офицерам в старых квартирах стало тесно, начальство приняло решение построить два жилых дома по обе стороны от Литейного проспекта. На участке у Кутузовской набережной - для пешей артиллерии, на противоположном - для конной. Одновременно со строительством этих двух зданий Воскресенский наплавной мост был передвинут в створ Литейного проспекта, продлённого до берега Невы через разобранный Литейный двор. Автором новых зданий стал Александр Петрович Гемилиан.