Первое здание на узком участке дома №23 по Кадетской линии было построено в 1720-1730-х годах, когда им владел купец Брагин. В середине XVIII века территорией распоряжался князь Прозоровский, с 1760-х годов её хозяином был купец Ольхин. Последний в 1792 году продал участок жене портретиста Д. Г. Левицкого и переселился в дом №19.
К моменту переселения в дом №23 Д. Г. Левицкий уже прекратил активную творческую деятельность. Здесь он написал последние несколько портретов, в том числе своего соседа купца Якова Ивановича Билибина, жившего в доме №21. В 1807 году живописец вошёл в Совет Академии художеств. Д. Г. Левицкий умер в 1822 году.
В 1830-1880-х годах особняк принадлежал купчихе Калгиной. Одним из обитателей этого дома в конце XIX века являлся молодой художник И. С. Горюшкин-Сорокопудов, в то время участвовавший в выставках Общества русских акварелистов.
Для А. Я. Перетца в 1905 году архитектор Л. Л. Фуфаевский построил здесь четырёхэтажный с мансардами на высоких подвалах дом, облицованный жёлтым и красным кирпичом. С февраля 1908 года в доме №23 у своей тёти прожил несколько месяцев 19-летний Н. П. Анциферов, будущий культуролог, историк Петербурга.
