Большая Конюшенная улица появилась в 20-е годы XVIII века. Её прокладка вошла в общий план по строительству Придворных конюшен (Конюшенного двора), возведённого в 1720-1723 годах. Согласно плану Комиссии о Санкт-Петербургском строении она протянулась параллельно Мойке и соединила Невский проспект с Конюшенной площадью. Название улицы связано с императорскими конюшнями на берегу Мойки, около которых был луг. Этот луг впоследствии и стал Конюшенной площадью.
Район вокруг Большой Конюшенной улицы быстро стал заселён представителями иноверческих общин. Сюда с Адмиралтейского острова в конце 1720-х - 1730-х годах были переведены их храмы. Первой была построена немецкая кирха. В 1733 году участок за двором Придворно-конюшенного ведомства был отдан шведской и финской общине. В 1734 году в его центре была освящена деревянная церковь Святой Анны. При этой церкви был построен дом для пастора. Напротив разместились реформатские французско-немецкая и голландская церкви. С этими иноверческими храмами соседствовала (и соседствует) православная Конюшенная церковь на одноимённой площади. Таким образом, район вокруг Большой Конюшенной улицы стал многонациональным, а сама магистраль, наравне с Невским проспектом, "улицей веротерпимости".
Первое время у этой городской магистрали официального названия не было. Оно появилось только 20 августа 1739 года, с тех пор улица и стала Большой Конюшенной. На протяжении XVIII века магистраль называли ещё и просто Конюшенной, Полицейской. Последнее название было связано с находившимся неподалёку полицейскому управлению.
Восточная часть Большой Конюшенной улицы изначально была поделена только на три участка. Они принадлежали (с севера на юг) Конюшенному ведомству, шведско-финскому приходу и немецкой общине. Западная же часть была поделена примерно на 20 владений. Их противоположная сторона выходила на извилистый берег Мойки. К реке выходили главные фасады усадебных домов, а к Большой Конюшенной улице - их задворки.
В 1740-х годах от Большой Конюшенной улицы к Мойке был проложен Волынский переулок. Здесь находилась усадьба государственного деятеля А. П. Волынского, подаренная ему императрицей Анной Иоанновной. Усадьба занимала всё пространство по переулку от улицы к набережной, в её центре находился одноэтажный особняк, построенный архитектором П. М. Еропкиным.
Из-за разногласий между финнами и шведами в 1745 году участок был поделён между общинами, сторона по Большой Конюшенной улице досталась финской общине.
Первоначально улица была застроена деревянными домами, принадлежащими приезжим в Санкт-Петербург европейцам. Благодаря им между Мойкой и Большой Конюшенной улицей возникло несколько церквей. В домах располагались преимущественно торговые лавки и ремесленные мастерские. Вскоре Комиссия о Санкт-Петербургском строении решила что тесная деревянная застройка может послужить причиной сильного пожара. В 1739 году был издан указ о сносе деревянных домов и строительстве на их месте одно- и двухэтажных каменных зданий. А в 1761 году императрица Елизавета Петровна своим указом запретила строительство в районе между Мойкой и Фонтанкой деревянных домов.
В 1770-1772 годах была построена Немецко-Французская реформаторская церковь (дом №25). Существующее сейчас здание Финской церкви святой Марии построено в 1803-1805 годах.
Перспектива Большой Конюшенной улицы от Невского проспекта замыкается колоннадой одного из павильонов здания Конюшенного двора. Эта колоннада была создана архитектором Стасовым в 1817-1823 годов, когда он занимался коренной перестройкой всего здания. Здесь проявился петербургский архитектурный принцип - строить новые здания так, чтобы они органично включались в окружающую застройку и сетку улиц. Несмотря на то, что Конюшенный двор находится вдалеке от Невского проспекта, Большой Конюшенной улицей он оказался тесно связан с главной петербургской магистралью.
Короткий Конюшенный переулок, соединяющий Большую Конюшенную улицу с набережной Мойки, в 1836-1844 годах входил в состав этой магистрали.
Архитектором К. Г. Альштремом для булочника Ф. К. Вебера в 1852-1853 годах было построено четырёхэтажное здание (дом №13). На первом этаже Вебер открыл булочную. Здание было построено так быстро, что по слухам на него обратил внимание сам Александр II. Проезжая мимо новой булочной он поинтересовался откуда на этом ещё недавно пустом месте вдруг взялся столь интересный дом. Услышав что здание принадлежит булочнику Веберу, император якобы произнёс "Видно хорошие у этого булочника дрожжи, раз на них целый дом вырос!". В этом доме в 1850-1860-х годах жил И. С. Тургенев.
В середине XIX - начале XX века предлагалось Большую Конюшенную улицу переименовать в память 19 февраля 1861 года - в память об отмене крепостного права в России. Но это переименование так и не состоялось.
Дом №11, построенный в 1887-1889 годах архитектором Л. Н. Бенуа, входит в единый комплекс зданий Придворной певческой капеллы. В 1889-1893 годах здесь жил композитор Николай Андреевич Римский-Корсаков.
В 1904-1905 годах для семьи Мельцер по проекту Ф. И. Лидваля построен дом №19/8. На первом городском конкурсе фасадов в 1907 году это здание было отмечено медалью. В 1908-1913 годах построено торговое здание для Гвардейского экономического общества (дом №21-23).
Переименования советского периода истории затронули и Большую Конюшенную улицу. В 1918 году была переименована в улицу Желябова, народника-террориста, принявшего участие в убийстве Александра II. В честь его жены и "коллеги" Софьи Перовской была переименована соседняя Малая Конюшенная улица.
Деревья стали украшать Большую Конюшенную улицу лишь в начале ХХ века. Первоначально их посадили только вдоль тротуаров. Пешеходную часть ограждали чугунные столбики с цепями. Променад был снабжён газовыми и электрическими фонарями. Асфальтовое покрытие Большая Конюшенная улица получила одна из первых в Петербурге - в 1892 году.
В 1951 году на Большой Конюшенной улице был устроен бульвар. Его проект составили архитекторы Т. П. Валицкая и Ж. Р. Михайлова. Вдоль пешеходной дороги были высажены липы.
Большая Конюшенная улица могла стать первой пешеходной зоной Ленинграда. Такое предложение обсуждалось в 1980-х годах. Сотрудники Музея истории Ленринграда (Б. М. Кириков, А. Д. Vарголис и другие) вместе с архитектором Г. Г. Фетисовым составили соответствующих проект, который не был реализован.
Большой Конюшенной улице вернули историческое название 4 октября 1991 года.
В ноябре 2006 года было принято решение отдать в аренду на 49 лет дома №4, 6 и 8 Институту Финляндии. Арендатор обязывался отремонтировать здания к 2008 году. Здесь планировалось разместить культурно-образовательный центр "Дом Финляндии", представительства городов Турку и Хельсинки, центр финского дизайна, российско-финскую торговую палату.
В начале 2010-х годов Большая Конюшенная улица пережила капитальный ремонт. Здесь заменили изношенные подземные трубопроводы. Проезжую часть замостили брусчаткой. На реконструированном бульваре появились каменные скамейки. Рядом с Конюшенной площадью и в створе Волынского переулка установили два небольших фонтана со скульптурными изображениями лошадей. 6 сентября 2012 года после реконструкции открылся обновлённый магазин "ДЛТ". Он стал одним из элитных торговых центров, возглавив размножившиеся на улице другие, не столь масштабные, но столь же дорогие магазины. Среди этих элитных бутиков в доме №25 продолжает работать знаменитая пышечная, известная ещё с советского времени.
