Сад при Академии художеств расположен в квартале, занятым к 1750-м годам Морской аптекой и домом Головкина. В 1758 году в доме Головкина начали заниматься ученики Академии, в саду практиковались будущие художники. В 1764-1788 годах велось строительство здания Академии художеств, при котором был разбит сад.
Устройство сада началось в 1768 году главным садовым мастером Х. Эклебеном. В 1776 году здесь был вырыт пруд для купания.
По предложению президента Академии художеств А. Н. Оленина в саду должны были быть построены четыре портика, напоминающие архитектуру Древнего Египта, Древней Греции, Персии и Рима. За этот проект взялся Александр Павлович Брюллов, который составил чертежи портиков. Однако идея Оленина так и не была реализована. Из общего замысла был реализован Садовый корпус с греческим портиком.
В 1844 году К. А. Тоном была разработана схема регулярного Академического сада. А. П. Брюллов в 1847 году предоставил новый план, по которому и дошла до настоящего времени планировка сада. Здесь были проложены дорожки, установлена ограда, а в 1847 году на перекрёстке центральных аллей появилась гранитная колонна. Этот монумент являлся запасной колонной для интерьера Казанского собора. Колонну высекли на тот случай, если что-то произойдёт с другими. Ничего непредвиденного не произошло, и архитектор собора А. Воронихин передал колонну Академии художеств. В 1807 году она была установлена в круглом дворе Академии, в 1817 году была заменена гипсовой моделью памятника Минину и Пожарскому. В 1847 году колонне нашёл применение А. П. Брюллов, установив её в саду Академии.
Первоначально по проекту Воронихина колонна венчалась шаром. После её установки в саду А. П. Лялиным шар был заменён на символ искусств - лиру. Римско-ионическую гранитную капитель заменили бронзовой.
С севера сад ограничивают три академических корпуса. Средний - здание рисовальных классов. Со стороны 3-й линии по проекту А. П. Брюллова был построен профессорский флигель, со стороны 4-й линии - литейный корпус, построенный Андрияном Захаровым. Именно в этом литейном корпусе были отлиты памятник Крылову в Летнем саду, кони Клодта для Аничкова моста, памятники Кутузову и Барклаю-де-Толли у Казанского собора. С восточной стороны сада в 1862-1864 годах по проекту Ф. И. Эппингера построен дом №2/А по 3-й линии. Здесь работают мастерские, в которых были созданы мозаики для Исаакиевского собора.
В 1890 году по проекту В. А. Кенеля была сооружена металлическая садовая ограда с воротами. В 1897 году в юго-западном углу сада построена Батальная мастерская, где создавались этюды с натурщиков верхом на конях.
