Участок дома №5 на Исаакиевской площади в начале 1840-х годов был приобретён графом Арсением Андреевичем Закревским. К этому времени здесь стоял двухэтажный особняк на подвалах с дворовыми флигелями в два и три этажа. Для нового владельца архитектором Г. Э. Боссе был составлен проект перестройки здания, высочайше утверждённый 18 апреля 1843 года.
По проекту Боссе дом №5 был надстроен третьим этажом, дворовые флигеля также выросли на один этаж. Главный фасад здания приобрёл (одним из первых в Петербурге) черты безордерного ренессанса.
До наших дней сохранилась часть дореволюционных интерьеров. В Бильярдной (ныне Библиотеке) можно увидеть кессонированный окрашенный под дерево плафон и резные двери. Белый зал на втором этаже в советское время был перестроен в классическом стиле. Во многом осталась нетронутой отделка Малахитовой гостиной, декорированной в стиле рококо. Её окна, простенки с зеркалами, камин, столы и часы были облицованы малахитом. Стены раньше были затянуты штофом. Композиция плафона и фриз с белками полностью повторяет отделку гостиной в доме И. В. Пашкова, оформлением которого также занимался Г. Э. Боссе.
У графа А. А. Закревского в 1855 году дом приобрёл купец С. В. Голенищев. Спустя 14 лет вдова купца продала участок графу Платону Александровичу Зубову, внучатому племяннику и тёзке знаменитого фаворита императрицы Екатерины II.
Для П. А. Зубова дом перестраивал архитектор К. К. Шульц. По его проекту был переделан главный фасад, на котором металлический балкон был заменён на каменный. На центральном аттике разместился герб Зубовых. Шульцем были переоформлены Кабинет, Столовая и Спальня. Тогда же на парадной лестнице были установлены четыре скульптуры - копии с античных образцов.
После смерти П. А. Зубова домом стал владеть Валентин Платонович Зубов, создатель и первый директор Института истории искусств, открытого в 1912 году. Этот институт продолжал здесь работать и после 1917 года, Зубов руководил им до 1924 года. В 1925 году он уехал за границу.
В советское время с фасада дома В. П. Зубова исчезли балкон и фамильный герб. Отделка многих интерьеров была уничтожена. В 1962 году институт был преобразован в научно-исследовательский отдел Ленинградского государственного института театра, музыки и кинематографии. В 1990 году он стал Государственным научно-исследовательским учреждением культуры "Российский институт истории искусств". В 1992-1993 годах на фасад вернулся герб Зубовых.
