В 1739 году на этом участке по проекту архитектора Франческо Бартоломео Растрелли был построен деревянный дворец для графа Рейнгольда-Густава Левенвольде, приближённого императрицы Анны Иоанновны. Рядом находилась усадьба его любовницы Н. Ф. Лопухиной, потому Левенвольде и выбрал этот участок.
После прихода к власти императрицы Елизаветы Петровны Левенвольде был отправлен в ссылку, а дворец перешёл в казну. В 1743 году она подарила усадьбу своему бывшему фавориту А. Я. Шубину. Однако Шубин, как бывший фаворит, посчитал для себя небезопасным находиться в Санкт-Петербурге, потому уехал из столицы. В 1749 году участок перешёл во владение гетмана Украины и президента Академии наук Кирилла Григорьевича Разумовского.
В 1760 году деревянное строение из-за ветхости было разобрано. В газете "Санкт-Петербургские ведомости" находилось следующее объявление: "Графа К. Г. Разумовского деревянный дом на каменном фундаменте желающим разобрать, перевезти и поставить на Крестовском острову... явиться могут в домовой канцелярии". В 1762 году архитектор А. Ф. Кокоринов начал строить новое каменное здание. К 1766 году работу закончил Ж. Б. Валлен-Деламот. Итогом усилий двух зодчих стало появление на берегу Мойки роскошного дворца в стиле раннего классицизма, ещё сохраняющего черты барокко. На территории усадьбы до сего дня сохранился участок сада, отделённый от Казанской улицы живописной оградой Воронихинского сквера.
Дворец Разумовского был известен своими балами и маскарадами. Штат прислуги здесь насчитывал 260 человек. На праздники граф устраивал раздачу милостыни, на которую сюда собиралось до двух тысяч человек.
В 1781 году Разумовский продал свой дворец польскому графу К. П. Браницкому и уехал из Санкт-Петербурга. Граф Браницкий прожил здесь до 1798 года, после чего уехал из России. Дворец Разумовского был продан в казну за 450 000 рублей.
Только что выкупленный дворец был передан Воспитательному дому, созданному по указу Павла I от 2 мая 1797 года. Покровительствовала ему жена императора Мария Фёдоровна, первым руководителем стал И. И. Бецкой. Воспитательный дом предназначался прежде всего для обездоленных детей: сирот-подкидышей, инвалидов. На фасадах зданий и на арке у входа можно видеть скульптурное изображение пеликана. Это символ, отражающий предназначение находящегося здесь учреждения. В 1797 году Воспитательному дому был передано соседнее здание - дом №50 на набережной Мойки. В 1798 году для Воспитательного дома помещения дворца Разумовского были перепланированы.
В Воспитательный дом принимали детей-подкидышей в возрасте до 10 месяцев. В год сюда поступало сирот до 8 000 душ, кормилиц нанимали свыше 9 000 человек. По достижении девяти месяцев, ребёнок отдавался в добропорядочную семью, на чьём доме помещалась табличка "П.В.Д". За воспитанием ребёнка продолжали следить вплоть до вступления его в брак, или до того, как он сам станет родителем. Деньги на организацию такой работы брали из доходов от продажи игральных карт. Также императором Павлом I был издан указ, по которому в фонд Воспитательного дома поступало 10% от доходов императорских театров.
Парадный двор-курдонер бывшей усадьбы Разумовского со стороны Мойки в 1818 году был обрамлён новой металлической оградой по проекту архитектора Д. Квадри. При этом парадные ворота, сооружённые в 1760-х годах, были сохранены. Но их дополнили упомянутым выше изображением пеликана.
Территория усадьбы постепенно застраивалась новыми корпусами. В 1829 архитектором Д. Квадри была начата постройка домовой церкви. Эту работу завершал архитектор П. С. Плавов. Храм был освящён 24 февраля 1834 года во имя Покрова Пресвятой Богородицы. Его интерьер был решён в торжественном ключе с применением колонн коринфского ордера и был дополнен великолепной люстрой из золотистой бронзы. Плавовым в 1831-1834 годах со стороны Воронихинского сквера был возведён двухэтажный Лазаретный корпус, надстроенный им же в 1841-1844 годах третьим этажом [1, с. 292]. Слева к бывшему дворцу примкнул Аптекарский флигель. Боковые флигеля бывшего дворца перестраивались в 1831-1834 годах. Фасады служебных корпусов, включая домовую церковь, оформлялись П. С. Плавовым в скупом стиле безордерного классицизма. Это весьма характерно для общественных учреждений николаевского времени. Лаконизм служебных корпусов позволил выгодно показать красоту бывшего дворца Разумовского.
Двор-курдонер со стороны Мойки был засажен деревьями и кустарниками в 1862 году. В 1865 году садовый мастер И. Альвардт и архитектор Г. Х. Штегеман реконструировали сад, примыкающий к Воронихинской ограде [1, с. 298].
В 1837 году Воспитательный дом был преобразован в Сиротский женский институт (с 1885 года - Николаевский сиротский институт). Его воспитанницы получали профессию педагога. В 1903 году на здесь было образовано первое в России педагогическое учреждение - Императорский Женский педагогический институт.
В 1918 году институт переименовали в Первый Педагогический. Затем здесь же возникли Второй и Третий институты, другие самостоятельные учебные заведения. В 1922-1925 годах на их базе был создан Ленинградский государственный педагогический институт им. А. И. Герцена.
Перед главным входом в 1961 году был установлен памятник выдающемуся русскому педагогу К. Д. Ушинскому (скульптор - В. В. Лишев).
В 1991 году учебное заведение получило статус Университета.
