В первой половине XVIII века участок дома №52 по Большой Морской улице оставался незастроенным. Достоверных сведений о первом владельце не сохранилось, но второй хозяин участка французский купец Еган Даниель Винтер указывал, что приобрёл его 23 декабря 1762 года у поручика артиллерийского фурштата Марка Васильева сына Семёнова.
В 1777 году у Ивана Семёновича Винтера участок приобрёл действительный тайный советник Иван Семёнович Головкин, внук первого канцлера Российской Империи. С 1779 года земля принадлежала провиантмейстеру Николаю Максимилиановичу Походяшину, с 1785 года - генерал-майору Василию Ивановичу Левашову.
В конце XVIII века дом Левашова был на этаж выше других соседних строений. Первоначально застройка участка была усадебной. Корпуса по Большой Морской улице и Мойке занимали всю ширину участка. Главный фасад особняка был со стороны Мойки, ко входу в дом надо было идти через сад. Хозяин чаще отсутствовал, домом часто распоряжалась императрица.
Три месяца 1787 года здесь жил венесуэлец, латиноамериканский революционер Франциско Миранда - один из руководителей борьбы за независимость испанских колоний в Южной Америке. Преследуемый испанскими властями он оказался в России и некоторое время провёл в доме на Большой Морской улице. В 1793 году здесь останавливался граф д'Артуа - бежавший из Франции брат казнённого короля Людовика XVI, впоследствии король Карл X. Весной 1794 года в этом доме недолго жила Екатерина Романовна Дашкова.
Василий Иванович Левашов умер в 1804 году, но дом числился за ним ещё два года. Затем участок продали, а вырученные средства разделили между шестью внебрачными детьми генерала. В 1809 году владелицей особняка являлась жена егермейстера императорского двора Екатерина Александровна Пашкова, сестра бывшего петербургского генерал-губернатора Н. А. Толстого. В 1816 году Пашкова передала дом генерал-адъютанту Павлу Андреевичу Шувалову - внуку фельдмаршала Петра Ивановича Шувалова. В 1820 году Шувалов продал дом супруге действительного статского советника Марье Донауровой. С 1829 года домом владела Надежда Сергеевна Толстая, брату которой принадлежал дом №32 по Большой Морской улице.
В 1835 году дом купил князь Сергей Сергеевич Гагарин. По его заказу архитектором А. Х. Пелем был построен лицевой флигель по Большой Морской улице (дом №52), который и сохранился здесь до сих пор.
Сын князя Гагарина в 1864 году продал дом жене статского советника Александра Александровича Половцова Надежде Михайловне. Особняк был куплен на деньги приёмных родителей Надежды Михайловны - семьи банкира Штиглица. Ходили слухи, что она являлась внебрачной дочерью великого князя Михаила Павловича.
Для семьи Половцовых в особняке были созданы великолепные парадные интерьеры, большую часть которых здесь можно наблюдать и сейчас. Над интерьерами работали Г. А. Боссе, Н. Ф. Брюлло, М. Е. Месмахер. Особенно выделяются Белый зал (архитектор Г. А. Боссе, позже Н. Ф. Брюлло), Бронзовый зал (когда-то был украшен подаренными Наполеоном Александру I гобеленами, архитектор М. Е. Месмахер), Дубовый зал, столовая, гостиная, библиотека, будуар с эркером. Благодаря этим в основном сохранившим свой облик залам дом до сих пор называют особняком Половцова.
После смерти Половцовых в 1910 году хозяйкой дом стала их дочь Анна Александровна Оболенская. Через пять лет она продала свой дом за 500 000 рублей Л. П. Мошкевичу. Спустя ещё год особняк перешёл к К. И. Ярошинскому - члену Общества возрождения художественной Руси. 21 октября 1916 года здесь состоялся вечер, на котором Сергей Есенин и Николай Клюев читали свои стихи.
В 1930 году в особняке Половцова открылась школа профдвижения, позже преобразованная в Высшую профессиональную школу культуры. С 1934 года в особняке Половцова размещается Санкт-Петербургское отделение Союза архитекторов России. С тех пор особняк называют также Домом Архитектора. Здесь проводятся творческие конкурсы, выставки, концерты.
