Дворец А. А. Безбородко находится в одном из старейших районов Петербурга. В первые годы существования города здесь, неподалёку от Адмиралтейства, возникла Морская слобода, где жили рабочие верфи. После пожаров 1736-1737 годов рабочих переселили дальше от центра города, а здесь стали селиться более обеспеченные петербуржцы.
Этот участок на Почтамтской улице купил граф А. А. Безбородко, который получил в управление почтовую службу. Дворец А. А. Безбородко строился по проекту архитектора Джакомо Кваренги с 1781 по 1783 год.
В интерьерах дворца А. А. Безбородко впервые в таком размере был применён самоцветный камень, например для облицовки колонн, стен, украшений дверей и подоконников. Украшением парадного зала стали две римские вазы и две высокие этажерки полностью заставленные фарфором. Комнаты были оборудованы французской мебелью. Люстру из горного хрусталя приобрели у Филиппа Эгалите, а кресла и другие предметы мебели ранее стояли в кабинете французской королевы Марии Антуанетты. В голубой бархатной гостиной висел портрет Екатерины II работы художника Левицкого. Во дворце Безбородка хранилась великолепная коллекция произведений живописи, которая позже стала основой коллекции музея Академии художеств.
После смерти графа А. А. Безбородко его дворец першёл во владение брату И. А. Безбородко. В 1810 году он был приобретён Почтовым ведомством.
