Сподвижник Петра I дипломат П. П. Шафиров поселился на южном берегу Берёзового острова, ставшем впоследствии Петровской набережной, уже осенью 1703 года, став одним из первых соседей Петра I. К 1713 году его деревянный особняк располагался между участками сибирского генерал-губернатора М. П. Гагарина и петербургского воеводы И. П. Строева.
В 1713-1714 годах дом Шафирова был выстроен в камне. В мае 1713 года С. Владиславич-Рагузинский писал в письме, что петербургский каменный дом П. П. Шафирова "скоро почнет строиться, ибо деревянный уже сломан". Историк М. В. Николаева приводит сведения о том, что строительные работы продолжались ещё и в следующем году. Здание строили "четвероугольным конштом итальянского манера под одною кровлю" [1, с. 639]. Новый особняк был двухэтажным на высоких подвалах, с тремя входами. Николаева считает, что тогда же Шафиров пытался приобрести соседский участок Строева. Но этому помешал А. Д. Меншиков, рассчитывая возвести на этом месте свои каменные палаты [1, с. 635].
В 1719-1720 годах особняк был подвергнут ремонту и реконструкции по проекту Г. И. Маттарнови, на что барон потратил 3 500 рублей. Строительные работы планировалось начать летом 1719 года, а закончить осенью следующего.
После осуждения Шафирова за казнокрадство и его ссылки в 1723 году особняк был передан Академии наук. При этом здание в 1723-1724 годах реконструировалось архитектором Б. К. Растрелли и его сыном Франческо Бартоломео. Они создали новый более нарядный фасад, занимались переустройством интерьеров [1, с. 633-639].
В июне 1724 года было дано распоряжение о найме работников для чистки "Шафировского двора". "К смотрению за домом" был определён канцелярист Волков. 28 января 1725 года секретарь кунсткамеры И. Шумафер произвёл опись дома.
Для украшения зала заседаний из Сената был взят красный бархатный с двумя завесами из золотой парчи и позументом балдахин. Для особо торжественных случаев сюда переносили бархатные кресла и стулья из другого дворца.
Первое торжественное академическое заседание в доме П. П. Шафирова состоялось 27 декабря 1725 года. Присутствовали члены правительства, Видные представители двора и духовенства. Выступали академики Я. Герман и Г. Б. Бюльфингер. Второе торжественное заседание было проведено 1 августа 1726 года. Здесь работали Л. Эйлер, Н. и Д. Бернулли, астроном Ж.-Н. Делиль, натуралист И.-Г. Гмелин, историк Г. З. Байер, анатом И. Г. Дювернуа, физиолог И. Вейтбрехт, юрист И. С. Бекенштейн, оптик И. Г. Лейтман, химик М. Бюргер и другие. Заседания академии проходили также в соседнем доме М. П. Гагарина. В другом соседнем доме Строева в 1726 году была открыта первая в России Гимназия. Отсюда Академия наук вместе с Гимназией в конце 1727 года были переведены в бывший дворец Прасковьи Фёдоровны на стрелке Васильевского острова. Туда же переместили и библиотеку Шафирова, состоявшую из 484 книг, в числе которых имелись рукописные издания.
19 августа 1728 года дом П. П. Шафирова Петром II был передан его семье. Вдова Шафирова пыталась продать особняк, но покупателей найти не смогла. Его взяли обратно в казну и приспособили для склада обмундирования.
