Участок дома №6 по Адмиралтейскому проспекту (№2 по Гороховой улице) является частью квартала, который появился только в 1770-х годах, а до того был частью Адмиралтейского луга. Вскоре он был подарен Екатериной II своему фавориту Александру Петровичу Ермолову, тогда же произведённому в генерал-поручики. Ермолов здесь ничего так и не построил, а 27 марта 1788 года продал территорию барону Ивану Фёдоровичу (Отто Герману) фон Фитингофу. Последний в 1787 году был назначен главным директором Медицинской коллегии. Дом для Фитингофа построил архитектор Джакомо Кваренги, который украсил особняк 10-колонным портиком. В дальнейшем здание меняло только свои интерьеры, а кваренгиевский фасад дошёл до нас без существенных изменений.
После смерти барона (в 1792 году) дом перешёл по наследству его сыну Борису. В 1795 году он продал участок генерал-прокурору и государственному казначею графу Александру Николаевичу Самойлову. За год до того он женился на Екатерине Сергеевне Трубецкой, дом на Адмиралтейском проспекте стал обителью новой семьи. Здесь часто останавливался племянник Александра Николаевича Александр Львович Давыдов, у которого в 1801 году гостил 17-летний Денис Давыдов, будущий герой войны 1812 года. По воспоминаниям Шарля Массона:
Содержание богатого дома рядом с императорской резиденцией требовало больших расходов. При Александре I граф лишился большинства своих должностей и был вынужден в 1804 году продать особняк в казну для размещения в нём губернских присутственных мест и канцелярии губернатора. Для этого здание перестраивалось внутри по проекту архитектора Александра Алексеевича Михайлова (Михайлова 1-го).
Среди размещавшихся здесь учреждений были палата гражданского суда и палата уголовного суда. С 1821 года в палате уголовного суда работал заседателем от дворянства Кондратий Фёдорович Рылеев, а ещё через два года сюда же поступил на службу сверхштатным членом Иван Иванович Пущин. Своим трудом будущие декабристы пытались доказать, что и на этих должностях можно принести пользу, особенно в борьбе со взяточничеством среди судейских чиновников.
В 1872 году была введена должность санкт-петербургского градоначальника, чей "офис" разместился в доме №6/2. К новому использованию интерьеры подготавливал академик Архитектуры Карл Карлович Андерсон. 30 марта 1873 года первым петербургским градоначальником стал генерал Фёдор Фёдорович Трепов. До этого он был обер-полицмейстером и жил в доме №38 по Большой Морской улице. В 1877 году сюда из его прежней квартиры перенесли церковь во имя святителя Николая Чудотворца, которую освятили 4 сентября. 24 января 1878 года здесь на него совершила покушение Вера Ивановна Засулич, Трепов был серьёзно ранен. В ходе суда присяжные заседатели Засулич оправдали. После выздоровления Фёдору Фёдоровичу пришлось уйти в отставку. Канцелярия градоначальника оставалась в доме №6/2 до 1917 года.
Следующие перестройки в бывшем доме Фитингофа производил городской участковый архитектор А. П. Максимов в 1890 году.
При градоначальстве имелась арестантская. 21 мая 1900 года сюда был доставлен Владимир Ульянов, приехавший в столицу из Пскова без разрешения. Брату Дмитрию он писал: "При градоначальстве сидеть было очень скверно - грязь невозможная, а кроме того, ночью шум, ругань" [Цит. по: 2, с. 68]. Спустя 10 дней он отправился в Подольск, а затем покинул пределы страны.
Церковь святого Николая Чудотворца ремонтировалась в 1903 году когда градоначальником был генерал-адъютант Н. В. Клейгельс.
7 декабря 1917 года была создана "Всероссийская Чрезвычайная комиссия по борьбе с контрреволюцией и саботажем". В тот же день её разместили в этом доме. Возглавлял ВЧК Феликс Эдмундович Дзержинский. 9 марта 1918 года ВЧК вместе с правительством переехали в Москву. В Петрограде появилось местное ЧК, руководителем которой стал Моисей Соломонович Урицкий. В первые месяцы работы ЧК именно здесь проводились расстрелы заложников и людей, обвинявшихся в контрреволюционный деятельности. Обитательница соседнего дома №4 так описывала эти события:
"Благодаря" деятельности в доме №6/2 ВЧК Гороховую улицу в 1918 году переименовали в Комиссаровскую. После смерти Ф. Э. Дзержинского в 1927 году магистраль стала называться улицей Дзержинского.
Когда количество арестованных значительно увеличилось и помещений стало не хватать, их стали увозить в тюрьмы на Шпалерной улице. В 1922 году было создано Объединённое Главное политическое управление, которому передали функции ЧК. В 1934 году ОГПУ переехало в дом №4 по Литейному проспекту. Бывший дом ЧК стал жилым.
В 1970-1980-е годы дом №6/2 находился в ведении Главленинградстроя. Здесь работало Управление автоматизированной системы планирования, контроля и регулирования строительства с информационно-вычислительным центром и центральной диспетчерской.
25 февраля 1974 года здесь был открыт мемориальный музей-кабинет Ф. Э. Дзержинского, который стал филиалом Государственного музея ВОСР. Сейчас это филиал Государственного музея политической истории России "Гороховая-2". Кроме того, здесь размещены Управление уголовно-исполнительной системы Северо-Западного федерального округа, Судебный департамент при Верховном суде, Межрегиональное территориальное управление при министерстве имущественных отношений.