На месте дома №10 по Малой Морской улице (№10 по Гороховой улице) в 1730-х годах находился дом неаполитанца Мира Пьетро (Адама Педрилло), скрипача оркестра придворного театра и комик-буффа итальянской труппы. При дворе императрицы Анны Иоанновне он стал Козьмой Петровым Педрилло и как шут нажил солидное состояние. Дом итальянца, равно как и большинство построек Морской слободы, сгорел в пожарах 1736-1737 годов.
Современные красные линии участка впервые были определены в проекте "Комиссии о Санкт-Петербургском строении" в 1738 году. Изначально он состоял из двух отдельных владений. В левой части, на Малой Морской улице, дом был построен в 1740-х годах. Угловой же участок к этому времени оставался свободным.
Облик расположенного здесь первого каменного дома сохранился благодаря коллекции Берхгольца, где он назван "домом камергера князя Гагарина". Он был без типичных для того времени высоких погребов, двухэтажным, с мезонином в три окна. На соседнем пустующем участке показана простейшая деревянная ограда. На момент создания чертежа из коллекции Берхгольца, камергером из Гагариных с февраля 1742 года был князь Сергей Васильевич. Женат он был на дочери генерал-прокурора Ягужинского Прасковье Павловне.
Дом Гагариных славился устраиваемыми в нём концертами. 7 октября 1748 года в "Санкт-Петербургских ведомостях" было дано объявление:
Гагарины чаще жили в Москве. 9 марта 1750 года появилось следующее объявление: "Против Адмиралтейского лугу отдаётся на несколько лет в наём каменный дом г-на камергера князя Сергея Васильевича Гагарина" [Там же].
В 1760-х годах участок С. В. Гагарина был приобретён казной, а затем он достался сыну фельдмаршала Степана Фёдоровича Апраксина Степану Степановичу. Новый владелец был женат на Екатерине Владимировне Голицыной. К 1770-м годам дом на Малой Морской улице был расширен на одну ось вправо, вследствие чего он потерял былую симметрию. Скорее всего, это понадобилось для устройства новой четырёхмаршевой лестницы. За этим новым объёмом появился небольшой боковой флигель. Соседний угловой участок к этому времени был присоединён к этой территории. На нём был разбит регулярный сад.
Степан Степанович также чаще жил в Москве. В 1777 году он продал петербургский дом своей сестре Марии Степановне Талызине. Её муж Александр Фёдорович (сенатор, тайный советник, капитан лейб-гвардии Семёновского полка) затеял масштабную перестройку приобретённого дома. Разросшийся особняк занял весь фронт участка по Малой Морской улице. На Гороховую улицу был обращён боковой флигель и каменная ограда с двумя (парадными и служебными) воротами. Ещё один небольшой флигель был выстроен в юго-западном углу. Внутренний двор был поделен полукруглой каменной оградой (циркумференцией) на парадный и хозяйственный дворы. Последний был окружён двухэтажными службами с конюшенными и каретными сараями. Старый дом Гагарина был включён в объём нового здания. Известно, что в некоторых помещениях восточной стороны дома уровень пола отличался от остальных. Фасад дома Гагарина был повторён в западной части особняка, что придало облику нового здания некоторую нелогичность. Его главный фасад имеет три ризалита, при этом боковые ризалиты не примыкают к углам, а отстоят от них на три оси.
В 1787 году Мария Степановна заложила дом, поводом к чему стала смерть её мужа и последующий отъезд в Москву. Спустя три года здесь поселились князь Владимир Борисович Голицын и его жена Наталья Петровна. Как раз их дочь Екатерина и была супругой бывшего владельца дома С. С. Апраксина. Была у них и другая дочь - Софья, вышедшая замуж за Александра Сергеевича Строганова. Софья Владимировна жила в Строгановском дворце и часто навещала свою престарелую мать.
Чета Голицыных в Петербург перебралась из Франции, которую они были вынуждены покинуть из-за революции. Супруги поселились в бельэтаже, детей поместили на антресолях. Их комнаты оставались там и после расставания с родителями. Среди них был Дмитрий Владимирович Голицын, московский генерал-губернатор. В высшем свете Наталья Петровна Голицына имела гораздо больший авторитет по сравнению со своим мужем. Здесь проводились знаменитые на весь Петербург обеды, которые посещали члены царской семьи. В их присутствии стол накрывался серебром, подаренным Голицыным Петром I. Наталью Петровну современники считали прототипом "Пиковой дамы", графини из одноимённой повести А. С. Пушкина. Сам поэт 7 апреля 1833 года писал в своём дневнике:
После смерти 97-летней Натальи Петровны дом №10 в 1838 году был куплен казной для размещения в нём квартиры военного министра. Это было логично из-за его близости к дому военного министерства (Адмиралтейский пр. 12). Но планировка частного особняка была неудобна для офисных нужд. Поэтому в 1839-1841 годах его реконструировали по проекту академика архитектуры Александра Андреевича Тона (старшего брата более известного К. А. Тона) и его учеников: Ф. И. Эппингера, Д. Б. Гейденрейха 2-го и И. А. Резанцева. Тогда был переоблицован главный фасад, повышена высота помещений второго этажа. Увеличенный разрыв между этажами отразился на главном фасаде орнаментальным поясом с рисунком по мотивам северного Возрождения. На балконе появилась новая золочёная решётка, на фронтоне - царский герб. Весь фасад в целом получил черты модного тогда Ренессанса (а не барокко, как считают многие краеведы).
Архитектурный облик перестроенного здания не оставил равнодушными современников. М. Н. Микишатьев в книге "Прогулки по Центральному району. От Дворцовой до Фонтанки" процитировал статью из "Художественной газеты" за 1841 год:
Чтобы видеть, насколько красота переднего фасада обязана самому скелету здания, довольно взглянуть на задний фасад его со двора: здесь нет ни одного орнамента, ни одного выступа, ни портика, ниже того числа полуциркульных окон; а между тем это просто гладкая стена, с тремя ярусами окон производит самое приятное впечатление. Словом, украшения тут произвольны и имеют только случайное значение; снимите с главного фасада настоящую декорацию и оденьте его в какую угодно, - изменится характер здания, достоинства его останутся те же" [Цит. по: 1, с. 295, 296].
В те годы военным министром был граф Александр Иванович Чернышёв. Последний являлся племянником фаворита Екатерины II А. Д. Ланского, отличился в Отечественной войне 1812 года. Среди современников он не пользовался популярностью из-за того, что будучи членом комиссии по делу "декабристов", на суде особо беспощадно отнёсся к Захару Григорьевичу Чернышёву. Они были однофамильцами. Но в обществе говорили, что граф пытался доказать их родство и таким образом планировал получить богатый майорат, то есть завладеть имуществом однофамильцев. Особенно Александра Ивановича невзлюбила та самая Наталья Петровна Голицына, так как Захар Чернышёв приходился ей внучатым племянником. Николай I же по своему оценил поведение Александра Ивановича на суде "декабристов". В 1841 году тот стал князем, а через восемь лет - светлейшим князем.
От созданных А. А. Тоном помещений в "доме пиковой дамы" до наших дней сохранились интерьеры части парадной анфилады второго этажа. Здесь можно найти следы парадного зала и кабинета супруги военного министра.
После ухода А. И. Чернышёва в отставку в 1852 году Николай I подарил ему дом на Малой Морской улице с ежегодной выплатой из казны в размере 15 000 рублей на его содержание, пока он будет находиться в роду Чернышёвых. Таким образом, отчасти Александр Иванович добился своего. В 1854 году одну из квартир дома А. И. Чернышёва занимал генерал-майор Павел Александрович Вревский.
В 1852-1853 годах со стороны двора к особняку была пристроена парадная лестница, а вестибюль был оформлен в стиле рококо. Скорее всего, эти работы производил архитектор Г. Э. Боссе. Он же ещё в 1846 году пристроил к дому чёрную лестницу.
Александр Иванович Чернышёв скончался в 1857 году, после чего домом владела его вдова Елизавета Николаевна. После её кончины (в 1879 году) участок оставался за дочерьми Александрой Александровной Лобановой-Ростовской и незамужней Марией Александровной. Последняя владела им до 1917 года.
После смерти Александра Ивановича в доме проводили перестройки, по разному отразившиеся на его облике. В 1864 году здесь работал архитектор И. Треццини. Именно им на место центрального звена циркумференции был встроен каменный сарай. В 1875 году княгиня Елизавета Николаевна планировала построить доходный дом со стороны Гороховой улицы, но это сделано не было. Нереализованный проект составлял И. А. Мерц. Вероятно, именно к этому времени относится надстройка четвёртого этажа над частью дома.
Квартиры в южном корпусе "дома Пиковой дамы" сдавались в наём. В конце 1870-х годов здесь жил молодой граф Александр Соллогуб, сын писателя Владимира Соллогуба. В кругу собиравшейся у него молодёжи читал свои стихи близкий друг П. И. Чайковского Алексей Николаевич Апухтин. В 1910-х годах здесь жила супруга обер-егермейстера Высочайшего двора Николая Петровича Балашова Екатерина Андреевна.
В 1910 году южный корпус ремонтировался, тогда к нему была пристроена лестничная клетка.
После 1917 года в доме №10 разместилась поликлиника. Для неё производились перепланировки. Тогда здесь появились лифты, была уничтожена почти вся художественная отделка помещений. Во время Великой Отечественной войны в восточное крыло здания попала авиабомба. При его восстановлении там появилась железобетонная лестница, ворота каретных сараев превратились в окна. В 1980-х годах с поликлиникой ГУВД соседствовало Ленинградское отделение Издательства "Машиностроение" Госкомиздата СССР. В 1990-х годах в оставшихся парадных залах бывшего особняка провели реставрационные работы.