Участки домов №38 и 40 по Большой Морской улице в начале XVIII века были единым владением. После пожаров 1736 года оно было передано обер-прокурору Сената Ивану Онуфриевичу Брылкину, взамен унаследованного им на Васильевском острове. Новую территорию он обязывался застроить в течение пяти лет. К 1741 году под надсмотром архитектора Земцова здесь было построено два дома. Они стояли вплотную друг к другу и являлись почти зеркальным отражением друг друга. У дома слева (на участке №38) разве что крыша была чуть повыше. Каждая из двух частей была одноэтажной на высоких подвалах, шириной в восемь осей. Два центральных окна выделялись ризалитом.
После назначения астраханским губернатором в 1745 году Брылкин решил участок продать. Спустя два года его левую часть (дом №38) приобрела жена придворного камердинера Анна Дмитриевна Воронова. Продажу по доверенности осуществлял брат владельца подпоручик Измайловского полка Василий Онуфрьевич Брылкин. Стоимость участка составила 4 000 рублей. Правая часть (дом №40) к этому времени уже принадлежала другим людям.
В 1751 году здесь держал винную лавку купец Осип Ливен. Тогда же в доме Воронова жил архитектор Пьетро Антонио Трезини. В феврале он уезжал из Петербурга в Италию, о чём сообщалось в газетах.
В 1754 году Анна Дмитриевна Воронова продала участок, вероятно, Думашевой, от которой он достался внаём купцу Ягану Либину. В 1757 году сыновья Думашевой продали территорию камер-юнкеру великой княгини Екатерины Алексеевны Михайле Михайловичу Измайлову за 8 500 рублей. Когда великая княгиня стала императрицей, Измайлов был произведён в генерал-майоры. Вскоре он оставил военную службу.
В 1763 году участок дома №38 указом Екатерины II передаётся в "вечное и потомственное владение" статскому советнику Ивану Перфильевичу Елагину. Новый владелец участка был знаком с известными литераторами того времени. В своём особняке он устраивал домашние спектакли. Будучи директором императорских театров, Елагин разместил у себя дома собственную контору. Здесь же останавливался граф Калиостро, у которого Иван Перфильевич пытался выведать секрет философского камня. Тут жил один из последних скороходов Иоганн Штехбарт. Сюда в 1785 году предлагалось придти тому, кто возьмётся строить дом на Мишином (Елагином) острове.
Иван Перфильевич оставил участок в наследство жене и дочери, для дальнейшей его передачи внуку П. Н. Бутурлину. Елагин скончался в 1794 году. Его дочь Анна Ивановна Байкова жила со стороны Мойки, а помещения на Большой Морской улице сдавала внаём. Здесь выступали гастролёры, работала гостиница (трактир) "Рим", размещалась табачная лавка. Здесь, будучи ещё ребёнком, со своей матерью останавливался Ф. В. Булгарин. Во втором этаже жил граф Морелли, ставший вторым мужем Байковой. Граф был скрипачом, которого пригласил в Петербург Потёмкин. В трактире "Рим" останавливались посланник герцога Вюртембергского барон Книстедт, британский полковник Чарльз Кинкер и другие иностранцы. В 1979 году в доме Байковой господин Мейер показывал дрессированных канареек, механическую фигуру купца, часы с движущимися фигурками, оптическую иллюминацию. Здесь же за входную плату в один рубль экспонировался портрет Бонапарта.
В 1802 году в газету "Санкт-Петербургские ведомости" было дано объявление о продаже участка за 50 000 рублей. К этому времени со стороны Большой Морской улицы дом был трёхэтажным, а со стороны Мойки - в два этажа. Историк П. Н. Столпянский утверждает, что в том же году дом был куплен в казну для размещения здесь канцелярии санкт-петербургского генерал-губернатора. Но в табели 1806 года владельцем ещё значится графиня Морельева (бывшая Байкова), территория была разделена на две половины.
К 1809 году участок стал принадлежать военному губернатору. Тогда же сюда из дома №22 переселился военный губернатор Александр Дмитриевич Балашов. В 1817 году некоторые изменения в здании осуществлял архитектор Беретти. В 1820-х годах в казну был приобретён флигель со стороны Мойки. В корпусе со стороны Большой Морской улицы располагались помещения для сторожей и курьеров, канцелярия, приёмная и кабинет генерал-губернатора. Первым генерал-губернатором, жившим здесь в 1824-1825 годах, был Михаил Андреевич Милорадович. Следующим здесь квартировался Павел Васильевич Голенищев-Кутузов.
В 1826 году перед домом генерал-губернатора в мостовой устроили колеи (колесо-проводы), а в 1830 году мостовую замостили деревянными шестиугольниками. Торцевую мостовую впервые предложил сделать инженер В. П. Гурьев.
В 1830-х годах в доме №38 жил новый генерал-губернатор Пётр Кириллович Эссен. Ежегодно на святках у него устраивался бал, на одном из которых присутствовал М. Ю. Лермонтов. Именно по проекту Эссена в Санкт-Петербурге провели нумерацию домов по улицам, а не по кварталам. В 1830-1840-х годах здание перестраивалось, здесь соорудили башню оптического телеграфа. Эту башню разобрали в 1842 году, её заменил купол с крестом церкви Николая Чудотворца.
При генерал-губернаторстве А. А. Суворова (внук известного полководца) здесь глава города уже не жил, но работала его канцелярия. В одной из квартир дома №38 жил вернувшийся из ссылки Ф. Н. Львов.
В 1866 году пост генерал-губернатора упразднили, дом был передан обер-полицмейстеру. Здесь поселился обер-полицмейстер Фёдор Фёдорович Трепов, в которого, когда он был градоначальником, стреляла Вера Засулич.
В 1877 году дом №38 перешёл к Обществу поощрения художников. В 1877-1878 годах по проекту Максимилиана Егоровича Месмахера здание было коренным образом реконструировано. Была упразднена церковь, устроены выставочный зал, помещения для рисовальной школы и первого в России художественно-промышленного музея. Этот музей был создан по инициативе Дмитрия Васильевича Григоровича, его имя заведение получило после смерти писателя. Григорович состоял секретарём Общества в течение 20 лет и жил здесь в одном из флигелей.
С 1882 года общество стало именоваться Императорским обществом поощрения художеств, именно это название и даты "1820-1890" можно видеть на фасаде здания. Они были выложены в виде мозаики при перестройке здания в 1890-1893 годах по проекту Иеронима Севастьяновича Китнера. При этой перестройке здание со стороны Большой Морской улицы и дворовые флигели стали четырёхэтажными, на крыше была установлена аллегорическая фигура "Торжествующий гений". Скульптура была создана Р. Р. Бахом по эскизу И. С. Китнера, отливалась на заводе Штанге.
В здании Общества поощрения художеств проходили выставки художников-передвижников. Здесь бывали И. Е. Репин, М. А. Врубель, В. В. Стасов, А. А. Блок. В 1880 году здесь экспонировалась всего одна картина - "Лунная ночь на Днепре" А. И. Куинджи. Окна выставочного зала были закрыты шторами, но свет на полотне был изображён так искуссно, что зрители искали за картиной лампу. Картину за 5 000 рублей приобрёл великий князь Константин.
С 1906 по 1917 год в доме №38 работал художник Николай Константинович Рерих. Он жил в части здания со стороны Мойки. С 1906 года он возглавлял Рисовальную школу общества. В школе по его приглашению преподавали И. Билибин, В. Матэ, В. Щуко, А. Щусев и другие. Специальные классы были открыты для женщин (этюдный, архитектурный, художественной вышивки). При школе работали библиотека, музей и хор. В школе также преподавал брат Рериха архитектор Борис Константинович, следивший за состоянием всего здания. Он же осуществлял внутренние переделки.
В 1890-х годах со стороны Мойки работали Общество политехническое петербургское и Общество содействия русской промышленности и торговли.
В 1929 году Общество поощрения художеств упразднили, имущество распродали. В этом же году на квартире Б. К. Рериха был произведён обыск с целью обнаружения материалов, уличающих его в шпионской деятельности. Ничего подобного здесь найдено не было, но в 1931 году Борис Константинович был осуждён на три года за продажу ценных вещей за границу.
В 1932 году здание передали Союзу художников РСФСР. В блокаду, 18 июля 1942 года, здесь открылась выставка "Ленинград в дни Великой Отечественной войны". В 1943 году состоялась выставка В. М. Конашевича. Мемориальная доска внутри здания хранит имена деятелей искусства, погибших во время войны.
С 1978 года здесь работает Выставочный центр. В его коллекции состоит около 9 000 произведений. На выставках здесь можно приобрести работы современных художников.
