Малая Конюшенная улица появилась в Петербурге в 1720-х годах одновременно с Большой Конюшенной улицей согласно плану Комиссии о Санкт-Петербургском строении. Их прокладка вошла в единый план по строительству Придворных конюшен (Конюшенного двора), возведённого в 1720-1723 годах.
Первое время дороги никак не именовались. А с 20 августа 1739 года эта улица стала называться Большой Рожественской, благодаря церкви, построенной в 1733-1737 годах рядом с её пересечением с Невским проспектом [4]. Название звучало в XVIII веке именно как "Рожественская", без буквы "д". Изначально эта улица, как и Большая Конюшенная, соединяла Конюшенную площадь и Невский проспект. Причём в её состав входила и часть современной Казанской улицы от Невского проспекта до её первого поворота.
Участок между двором Придворно-конюшенного ведомства и немецкой кирхой в 1733 году указом императрицы Анны Иоанновны был отдан шведской и финской общинам. Уже в следующем году здесь освятили деревянную церковь Святой Анны, при ней был построен дом пастора. В 1745 году из-за разногласий между финнами и шведами участок был поделён на две части. Сторона по Большой Рождественской улице досталась шведской общине.
До середины XVIII века здесь преобладала деревянная застройка. Но после указа 1761 года о каменном строительстве между Мойкой и Фонтанкой облик Большой Рождественской улицы резко изменился. Деревянные постройки довольно быстро были заменены на каменные дома, преимущественно в два этажа.
В 1767-1769 годах шведская община по проекту Ю. М. Фельтена построила церковь Святой Екатерины. Для подхода к ней от Большой Конюшенной улицы был проложен Шведский переулок, за которым расположились здания Придворно-конюшенного ведомства. Таким образом улица потеряла выход к Конюшенной площади. На углу переулка в 1771 году было построено жилое здание. В 1792-1793 и 1821 годах вдоль Большой Рождественской улицы - ещё два, в которых поселились священники и служители, часть помещений сдавалась в наём.
Перед строительством Казанского собора Рождественскую церковь разобрали и в 1776 году улицу назвали по аналогии с соседней - Малая Конюшенная. Тогда она получила существующие сейчас границы - от Шведского переулка до Невского проспекта.
Интересно, что в начале XIX века Малая Конюшенная улица была заселена в основном иностранцами. Их перечень можно найти в одной из первых петербургских адресных книг за 1809 год. Тогда здесь числилось всего четыре домовладельца. Официально тут жили 11 человек, из который только один был русским.
В 1818-1819 годах архитектором А. Е. Штаубертом построен дом №5. Переулок у церкви Святой Екатерины в 1821 году был назван 1-м Шведским, 2-м стал современный Чебоксарский переулок.
Здание госпиталя Придворно-конюшенного ведомства, окончательно замкнувшего перспективу Малой Конюшенной улицы (Шведский пер. 2), построено по проекту А. И. Буржуа в 1840-х годах. В 1846 году построен дом №6. В 1862-1865 годах по проекту К. К. Андерсона построено новое здание Шведской церкви. В 1862-1863 годах тот же архитектор перестроил и расширил принадлежащие церкви здания в Шведском переулке. В 1876-1877 годах после перестройки архитектором Ю. Ф. Бруни существующий сейчас облик принял дом №5. После перестройки сюда переехала женская гимназия при церкви Святого Петра.
Ко второй половине XIX столетия состав жителей Малой Конюшенной улицы многократно расширился. Это связано с общим ростом населения столицы и с увеличением площадей доходных домов. Находящиеся здесь здания меняли классические фасады на эклектичные, увеличивали не только занимаемую площадь, но и высоту.
Идея создания бульвара на Малой Конюшенной улице впервые появилась у местных домовладельцев в 1877 году. Её поддержал один их них, барон Егор Фёдорович Мейендорф, обратившийся с просьбой о создании бульвара к городским властям. Обоснованием для такой просьбы стали наличие большого числа школ, в которых обучались более 3 000 детей. Здесь же располагалась Конюшенная больница. Домовладельцы выразили готовность устроить бульвар за счёт собственных денег.
Петербургский градоначальник официально оформил предложение о создании бульвара 4 мая 1877 года, спустя двое суток оно было заслушено на заседании Городской думы. После получения предложения императором на утверждение Александр II распорядился одобрить план расположения деревьев по средине улицы и присвоить бульвару название "Мейендорфский" в память о генерал-адъютанте бароне Мейендорфе.
Бульвар из привезённых из Риги лесных лип был создан в том же году. Посадки оградили деревянными перилами. Уход за ними осуществлялся за счёт домовладельцев Малой Конюшенной улицы.
Уже в 1878 году домовладельцы стали отказываться от своей обязанности. В 1885 году власти Петербурга обратили внимание на неудовлетворительное состояние бульвара. Осмотревший его городской садовник сделал выводы о неверной организации зелёных насаждений. Под деревьями оказался недостаточный слой земли, лесные липы не смогли акклиматизироваться. В 1889 году зелёные насаждения перешли в ведение города. После капитального ремонта бульвар представлял собой утрамбованную дорожку с рядом лип и клёнов. В Великий пост на Мейендорфском бульваре проводились вербные торги. Арендная плата за места для торговли шла в городскую казну.
В 1903-1905 годах по проекту Ф. И. Лидваля шведская община построила доходный дом (№3), а во дворе - Екатерининский концертный зал.
Малая Конюшенная улица в дореволюционном Петербурге была местом празднования Вербной недели. В конце марта - начале апреля здесь устраивали ярмарку, на которой продавали не только ветки цветущей вербы, но и всевозможные сладости и игрушки. Плата за аренду торговых мест шла в городскую казну. Князь К. Н. Голицын так описывал свои впечатления о ярмарке:
Весной 1913 года ко 300-летию дома Романовых на Малой Конюшенной улице установили павильон "в стиле греческого храма". В нём демонстрировалась картина И. Ф. Порфирова, посвящённая подвигу Ивана Сусанина. Спустя три года, в разгар Первой мировой войны, в этом же павильоне Порфиров показывал картину "Святая Русь и враг лютый".
У выхода Малой Конюшенной улицы к Невскому проспекту по проекту Н. Е. Лансере в начале XX века был установлен метеорологический павильон. Часто годом его установки называется 1914 или 1915. Но есть и другая версия. Н. Гречук в книге "Петербург. Секунды истории" пишет:
Как бы то ни было, Городская управа рассматривала вопрос установки павильона ещё с 1911 года. По рисункам Лансере скульптор В. В. Кузнецов создал декор из барельефов и маскаронов. Павильон был оборудован барометром, гигрометром, термометрами, термографом, барографом, электрическими часами фирмы Л. М. Эриксона. На стенках сооружения разместили таблички, на которых, вероятно, объяснялось назначение метеорологических приборов. Павильон был установлен под руководством старшего городского архитектора Л. В. Шмеллинга на средства Городского общественного управления. Впоследствии павильон с Малой Конюшенной улицы был убран. Это было сделано скорее всего в предвоенное время, вероятно его перенесли на Елагин остров. Дальнейшая его судьба остаётся тайной.
В октябре 1918 года Малую Конюшенную улицу переименовали в улицу Перовской в честь революционерки С. Л. Перовской, участвовавшей в убийстве императора Александра II. В этой форме название существовало до 1935 года, а в 1926 появился новый вариант - улица Софьи Перовской [4]. В 1920-1930 годах Екатерининский зал занимал Клуб им. В. И. Ленина, после Великой Отечественной войны - Дом культуры профтехобразования Ленинграда и Ленинградской области. В доме №4/2 в 1935-1958 годах жил М. М. Зощенко, сейчас здесь находится его мемориальный музей-квартира.
С 1931 года и до начала Великой Отечественной войны на улице Софьи Перовской каждую весну устраивалась книжная ярмарка. Её организовывал находящийся рядом магазин "Дом Книги".
Обитателями домов на Малой Конюшенной улице были сестра композитора Дмитрия Дмитриевича Шостаковича Мария (у которой в доме №8 в 1955-1973 годах останавливался знаменитый брат), основатель группы "Аквариум" Борис Гребенщиков (дом №5) [5, с. 219].
4 октября 1991 года Малой Конюшенной улице вернули историческое название [4]. В 1996-1997 годах на средства шведской фирмы "Сканска" дом №1 был реконструирован (проект архитектора Р. М. Даянова), здесь разместились офисный центр, Генеральное консульство Швеции.
Малая Конюшенная улица была коренным образом реконструирована в конце XX века. Эту малоудобную для проезда улицу первой в Петербурге сделали пешеходной зоной. Движение транспорта здесь было прекращено в 1991 году. Проект пешеходной зоны был составлен в 1996 году в архитектурной мастерской Ф. К. Романовского главным архитектором А. П. Черновым. Открытие реконструированной магистрали произошло в сентябре 1997 года. Она стала одной из самых красивых пешеходных зон в России. Вместо асфальта здесь уложили брусчатку и гранитные плиты, установили скамейки и клумбы. Старые деревья были пересажены. К ним подсадили новые 15-летние саженцы лип.
При проектировании пешеходной зоны архитекторами Ф. К. Романовским, А. П. Черновым и В. А. Чепелем предполагалось, что Малая Конюшенная улица станет подходом к развлекательному центру, который намечалось построить на месте таксомоторного парка (Конюшенная пл. 2). Но к строительству развлекательного центра так и не приступили.
8 декабря 1997 года на Малой Конюшенной открыли памятник Н. В. Гоголю (скульптор М. В. Белов, архитектор В. С. Васильковский).
На площадке напротив Чебоксарского переулка первоначально планировалось установить фонтан. Но вместо него на Малой Конюшенной улице появилась копия упомянутого выше метеорологического павильона. Его воссоздали по сохранившемуся проекту А. Н. Лансере. Павильон собрали такие петербургские предприятия как "Служба времени", "Микрон", и Главная геофизическая обсерватория имени А. И. Воейкова.
На углу со Шведским переулком в 1998 году установили памятник петербургскому городовому работы скульптора А. С. Чаркина и архитектора В. В. Попова. Его появление совпало по времени с инициативой начальника Главного управления внутренних дел А. Пониделко по возрождению в Петербурге службы городовых. Прохожим черты лица памятника часто напоминают лицо известного актёра и режиссёра Н. С. Михалкова. Расположение монумента на Малой Конюшенной улице изначально считалось временным. Петербуржцам предлагалось самим определить его дальнейшее местоположение.
В Екатерининском зале в настоящее время работает Дворец культуры молодёжи "На Малой Конюшенной".