Дом №2 по Гороховой улице построен в 1801 году Д. Кваренги. Здание заняло Губернское присутствие. Здесь работали будущие декабристы И. И. Пущин и К. Ф. Рылеев. Затем в этом здании разместилось отделение по охране общественной безопасности и порядка , в народе называемое "Охранка". Именно здесь в 1878 году произошло покушение на петербургского генерал-губернатора Ф. Ф. Трепова.
После революции в доме №2 располагается Всероссийская чрезвычайная комиссия, которую возглавлял Ф. Э. Дзержинский. В 1975 году здесь открыт музей Ф. Э. Дзержинского, филиал Государственного музея политической истории России.