Конногвардейский манеж построен в 1804-1807 годах по проекту архитектора Джакомо Кваренги на углу Сенатской площади и Конногвардейского бульвара. Манеж предназначался для верховых занятий солдат Конногвардейского полка в осеннее и зимнее время года.
Проект Кваренги на практике реализовывал архитектор Гирше.
До появления Исаакиевского собора и засаженного деревьями Александровского сада Конногвардейский манеж играл большое значение в перспективе Сенатской площади.
Парадная лестница выполнена из сердобольского гранита. Базы колонн Конногвардейского манежа первоначально принадлежали бирже на стрелке Васильевского острова, которую в 1780-х годах начал строить тот же Кваренги. Но её возведение не было доведено до конца, биржа была разобрана.
Главный вход в здание украшен барельефом, изображающим конные состязания. Здесь же в 1810-1811 годах установлены копии римских античных статуй Диоскуров. Их автор Паоло Трискорни, выполнивший и украшающие здание барельефы. Изготовлены они в Италии в 1810 году, являются уменьшенными копиями античных Диоскуров, стоявших у Квиринального дворца в Риме. Статуи изображают мифических близнецов Кастора и Полидевка, сыновей Зевса и Леды, олицетворявших братскую любовь и преданность и потому отображавшихся всегда вместе, зеркально отображёнными.
Статуи Диоскуров не были выполнены в указанный в контракте срок. Первое время Конногвардейский манеж был украшен мраморными кентаврами. К августу 1816 года Диоскуры прибыли в Кронштадт. И только в 1817 году, после реставрации повреждённой при перевозке одной из фигур, они были открыты для всеобщего обозрения у входа в манеж.
Постоянными посетителями манежа были царские особы. Существовала легенда о подземном ходе, якобы связывавшим Зимний дворец и манеж.
В 1837 году на фронтонах Конногвардейского манежа установили барельефы работы Д. И. Иенсена.
В 1840-х годах капитул Исаакиевского собора посчитал кощунственным нахождение рядом с храмом обнажённых языческих богов. Статуи поставили позади манежа, рядом с казармами Конногвардейского полка. Вернули их на своё историческое место только в 1954 году. Диоскуры являлись предметом изучения для скульптора Петра Клодта. Он работал с ними перед созданием своих знаменитых скульптурных групп Аничкова моста.
Благодаря большим размерам помещения Конногвардейского манежа использовались для выставок. 19 сентября 1850 года Вольное Экономическое Общество демонстрировало здесь русским земледельцам жатвенные машины, локомобили и молотилки.
Скромный облик Конногвардейского манежа постепенно переставал соответствовать соседним ампирному зданию Сената и Синода, перестроенному зданию Адмиралтейства. В 1872-1873 годах фасад здания был частично скорректирован архитектором Д. И. Гриммом, опиравшемся на первоначальные нереализованные задумки Кваренги. Тогда боковые фасады манежа были украшены парными трёхчетвертными колоннами, его фронтон украсили статуи.
Кроме выставок в Конногвардейском манеже проводились и концерты. В 1886 году здесь давал представление знаменитый Иоганн Штраус. Для этого в зале оборудовали 900 нумерованных кресел, помещение украсили и задрапировали при помощи 1800 аршин ткани. В программу концерта были включены "Конногвардейский марш" и вальс "Петербургские дамы".
В 1930-х годах Конногвардейский манеж переоборудовали по проекту Н. Е. Лансере под гараж. В 1954 году статуи Диоскуров вернулись на своё исконное место перед главным входом. В 1977 году после капитальной реконструкции в здании был открыт центральный выставочный зал, которым пользуется Союз художников Санкт-Петербурга. Выставочным целям это здание служит по сей день.
