Участки домов №84 и 86 по Невскому проспекту в прошлом составляли единое владение. Дом №84 - единственное на Невском проспекте здание, находящееся во дворе, не выходящее на передний фронт застройки.
В середине XVIII века этим участком владел обер-прокурор Сената князь Н. Ю. Трубецкой. Здесь он построил усадьбу с деревянным особняком. В 1780-х годах его сын сенатор П. Н. Трубецкой возвёл на участке трёхэтажный каменный дом. Главное здание располагалось в глубине, а на Невский проспект выходили служебные корпуса.
В 1792-1800 годах участок принадлежал князю А. Б. Куракину, для которого здесь был построен каменный трёхэтажный дом. На основе этого здания в последующем создавались новые особняки.
В 1814-1818 годах здание было перестроено по проекту М. А. Овсянникова для нового владельца - полковника Ф. Н. Петрово-Соловово. Именно тогда здание приобрело существующий облик в стиле классицизм, появился шестиколонный портик. В 1823 году М. А. Овсянников пристроил дворовые флигели. В 1829-1932 годах дом корнета Г. Ф. Петрово-Солово нанимал Главный педагогический институт. Приспособлением помещений для этого учреждения занимался архитектор А. Ф. Щедрин.
В 1835 году по проекту Г. Фоссати дом был перестроен для графа Браницкого. Архитектор надстроил боковые крылья, устроив воротный проезд, и обогатил декор фасадов. Фронтон портика был украшен гербом Браницких. Кроме того, Фоссати выполнил отделку внутренних парадных помещений. С того времени сохранилось оформление Театрального зала и Комната с кариатидами. В особняке Браницких часто проходили концерты, выставки. Дом №86 - последний по времени постройки особняк дворцового типа на Невском проспекте. В нём часто устраивались концерты, вечера, художественные выставки.
В 1840-х годах домом владел некто Калугин. Позже им владел грек, поручик Дмитрий Егорович Бенардаки. При нём во дворе был устроен сад с беседкой-эстрадой. Он торговал хлебом, был монополистом водочной торговли в Западной Сибири. Бенардаки финансировал строительство греческой церкви, существовавшей на месте БКЗ "Октябрьский".
В 1862 году архитектор А. К. Кольман построил для А. Е. Бенардаки красно-кирпичные жилые корпуса в глубине участка (дом №84). В одном из этих корпусов в 1865-1873 годах жил композитор М. А. Балакирев, возглавлявший творческое объединение "Могучая кучка". У него в гостях бывали Н. А. Римский-Корсаков, Ц. А. Кюи, М. П. Мусоргский, А. П. Бородин, В. В. Стасов, П. И. Чайковский.
В 1868-1869 годах ко дворцу со стороны двора Кольманом была пристроена металлическая терраса.
Дворовые флигели сдавались в наём, владельцы жили в мезонине главного корпуса. Первый этаж сдавался под магазины, а в парадных залах второго и третьего этажей с 1869 года разместился Английский клуб, в котором часто играл в карты Николай Алексеевич Некрасов. Занятия членов этого клуба были определены уставом: "препровождение времени в беседах, позволенных играх и чтении книг". Некрасов выиграл здесь не один десяток тысяч рублей. Однажды министр финансов России Александр Абаза проиграл ему больше миллиона франков.
В 1877 году дом приобрёл гофмейстер князь Н. Б. Юсупов. Князья здесь не жили, дворец был ими приобретён с целью вложения финансов в недвижимость. В 1881-1885 годах здесь проходили выставки Товарищества передвижных художественных выставок с участием И. Е. Репина, И. Н. Крамского, В. И. Сурикова, В. Е. Маковского. Именно здесь на XIII передвижной выставке впервые была показана картина Ильи Репина "Иван Грозный убивает своего сына Ивана". Этот показ вызвал такой поток посетителей, что у дворца пришлось выставить отряд конной полиции. Кроме картины Репина тогда здесь экспонировались работы В. Е. Маковского, В. Д. Поленова, И. И. Шишкина, А. М. Васнецова, И. Н. Крамского. Выставку посетили почти 45000 человек.
В 1880-х годах в доме №84 жил писатель В. М. Гаршин.
В 1893-1898 годах в доме №86 по Невскому проспекту работало Шахматное общество. В 1896 году здесь состоялся первый в России международный шахматный турнир с участием Эммануила Ласкера, В. Стейница и М. И. Чигорина.
В начале ХХ века зданием владела княгиня Зинаида Николаевна Юсупова. В доме работал кинематограф "Электротеатр" ("Пате"), в 1907 году - музей восковых фигур.
После 1917 года здесь размещались частный театр "Пиковая дама", комиссионный мебельный магазин. В 1924 году здание приняло Центральный дом работников искусств (с 1939 года - им. К. С. Станиславского). В 1954 году дом №86 был частично перепланирован архитектором Н. А. Митуричем. В 1970-х годах проходила реставрация его интерьеров. В 1973 году здесь был открыт магазин театральных принадлежностей "Маска".
В 2001 году по проекту архитектора Л. В. Домрачевой-Канунниковой двор за домом №86 был благоустроен вместе с проходными дворами соседних домов №88 и 90-92. Сейчас во дворце работают Санкт-Петербургская организация Союза Театральных Деятелей и Дом актёра им. К. С. Станиславского. Первый этаж занимают магазины и рестораны. Во дворе находится поликлиника для творческих работников (№40).
