Здание, известное в Петербурге как "Литовский замок", располагалось на участке, ограниченном Мойкой, Крюковым каналом, улицей Декабристов и переулком Матвеева. Оно было построено в 1787 году по проекту архитектора И. Е. Старова. Замком его прозвали за характерный внешний вид: каждый из пяти углов был отмечен башней (всего башен было семь). Называли его также Тюремный или Семибашенный.
Своё наиболее употребимое название постройка получила из-за того, что некоторое время в ней располагались казармы Литовского полка. Позже её приспособили для жилых целей, а с 1822 года здесь разместились "Градские тюрьмы для уголовных преступников".
Во время февральской революции 1917 года узники тюрьмы были освобождены восставшими. Литовский замок несколько дней горел. Поэт А. Блок в марте 1917 года писал:
Некоторое время сгоревшие руины предполагалось оставить в качестве памятника - напоминания о революционных событиях. Но в 1930-х годах они были снесены. В последующие годы на их месте появились новые постройки.