Малая Садовая улица проложена между Невским проспектом и Итальянской улицей в 1740-х годах. Изначально она называлась Новым переулком, с 1756 года - Шуваловской улицей, по построенному здесь в 1749-1756 годах дворцу графа И. И. Шувалова, фаворита императрицы Елизаветы Петровны. Вся нечётная сторона улицы в то время находилась во владении Шувалова. Со стороны Итальянской улицы располагался дворец, далее по Малой Садовой - сад, отгороженный от улицы оградой.
С 1850 года улица стала именоваться Малой Садовой. Она была любимым местом прогулок Александра II. Когда в сквере напротив улицы, через Невский проспект открыли памятник Екатерине II, улица сменила своё название на Екатерининскую (1873 год).
Флигель дома №8 в 1881 году занял «Склад русских товаров Е. Кобозева». Эти помещения использовались членами партии «Народная воля» для организации покушения на императора Александра II. Из подвала под улицу они рыли подкоп для закладки мины. Однако в день запланированного покушения император изменил свой маршрут. Он не поехал по Малой Садовой улице, что впрочем не уберегло его от гибели.
На рубеже XIX и XX веков в доме №8 открылся ресторан Фёдорова. Здесь всего за 10 копеек можно было получить рюмку водки и бутерброд с бужениной. Посетители сами набирали бутерброды и рассчитывались только уходя. За количество съеденного буфетчик явно не мог уследить, некоторые этим и пользовались. Говорят, что поправив свои финансовые дела такие люди посылали Фёдорову деньги с благодарственным письмом. В 1901-1903 годах для купеческого дома братьев Елисеевых был построен дом на углу Малой садовой улицы и Невского проспекта, известный теперь как "Елисеевский" универмаг.
В 1914 году на углу Малой Садовой и Итальянских улиц было построено здание Благородного собрания. Сейчас это здание известно как "Дом радио", здесь находится студия петербургского 5-го телеканала.
В 1917 году улицу переименовали в улицу Пролеткульта, по открытому здесь Дворцу пролетарской культуры. В 1949 году улице вернули прежнее название.
В 1999 году Малая Садовая вслед за Малой Конюшенной стала пешеходной зоной. Одна из достопримечательностей - фонтан с гранитным шаром. Улица известна малой скульптурой. Здесь установили бронзовую статую фотографа, на карнизах домов сидят два кота. Под гранитными плитами уложили отопительные трубы. В результате зимой мостовая никогда не замерзает, тает быстро снег и не образуется лёд. Это пока единственная улица в городе с "подогревом".
Малая Садовая улица самая короткая в Санкт-Петербурге. Её длина всего 179 метров.
Напротив студии 5-го канала на Малой Садовой улице часто проходят съёмки интервью у прохожих. Между тротуаром Невского проспекта и фонтаном летом в хорошую погоду выступают уличные артисты.
