Здание Глампочтамта расположено в одном из старейших районов Петербурга, на территории бывшей в начале XVIII века морской слободой. Здесь жили работники Адмиралтейства, которые после пожаров 1736-1737 годов были переселены в район Коломны. Здесь же стали селиться более богатые горожане. В 1755 году на этом участке построил свой дом граф Ягужинский - одно из самых крупных петербургских зданий того времени. Особняк был трёхэтажным, имел 126 покоев с прочими службами. Кроме прочего здесь были домовая церковь и театр.
В 1766 году граф Ягужинский был объявлен банкротом. Его дворец перешёл в управление городского магистрата, который продолжал устраивать здесь театральные представления. Так, в 1767 году в бывшем доме Ягужинского устраивал маскарад итальянец Локателли, в 1777 здесь можно было наблюдать ставший популярным "Тромплинов скачок" - представление общества эквилибристов из Лондона. Впервые этот "скачок" был показан 29 октября, а от представление 7 ноября осталось следующее описание:
Театральные представления продолжались в доме Ягужинского до 1780 года. В нём же демонстрировался первый в Петербурге щверинец. Иностранец Антониа Шиез показывал здесь африканского верблюда, трёх обезьян и двух ежей. Кроме того здесь работали магазины, в том числе (с 1762 по 1772 год) книжная лавка Московского университета.
В 1782 году городской магистрат подал объявление о продаже дома Ягужинского. Скорее всего, это было сделано ради доказательства убытков от эксплуатации особняка, тогда как чиновникам на самом деле было выгодно его использовать.
Так бы и прослужил дом на пользу городским чиновникам, но этому помешал граф А. А. Безбородко. Он приобрёл соседний участок (Почтамтская ул. 7) для строительства собственного дворца. Граф в то время заведовал почтой, которая ютилась в неудобных помещениях на Миллионной улице. По всей видимости, именно по настоянию Безбородко бывший дом Ягужинского был передан для нужт Главпочтамта.
3 июня 1782 года появилось такое объявление:
Проект Главпочтамта был выполнен архитектором Н. А. ЛЬвовым. Здание выстроили в 1782-1785 годах. 22 сентября 1785 года было дано следующее объявление:
