Караванная улица располагается в так называемом "Золотом треугольнике" Петербурга, самом дорогом районе города. Дорога на её месте появилась в первые годы существования Петербурга. В 1712-1715 годах она соединила находящийся на берегу Мойки дворец Екатерины I с Невским проспектом. Правый берег Фонтанки здесь в то время был низким и часто затапливался. Поэтому городская застройка долго не доходила до берега, трасса Караванной улицы оставалась от неё свободной.
При дворце Екатерины I существовал хозяйственный сад, от него и начиналась трасса будущей Караванной улицы. Между этой дорогой и Фонтанкой располагались служебные постройки. В основном они были деревянными, но среди них была и довольно длинная каменная оранжерея. Она была построена в царствование Екатерины I, то есть в 1725-1727 годах.
После пожаров в Морской слободе в 1737-1738 годах Комиссия Петербургского строения составила план развития Петербурга. Он предполагал строительство между Фонтанкой и трассой Караванной улицы Главного Мытного двора. При императрице Анне Иоанновне на месте сада планировалось устроить "ягд-гартен" - место для царской охоты.
Дворец Екатерины I в 1740-х годах сменился Летним дворцом императрицы Елизаветы Петровны. Местность к югу от него была преобразована согласно проекту строительства летней царской резиденции, составленной архитектором Ф. Б. Растрелли. Тогда вдоль западной границы дороги появился масштабный сад-лабиринт, южная граница которого проходила по Итальянской улице. В середине XVIII века этот сад наравне с хозяйственными постройками на берегу Фонтанки были единственными строениями вдоль Караванной улицы.
Рядом с Летним дворцом до 1744 года находился Слоновый двор, постройки при котором называли "караван-сараем". Этот "караван" и дал имя проходящей вдоль него дороге. При этом до 1777 года употреблялся топоним "Каравайная" [2, с. 183].
26 мая 1745 года была предпринята попытка узаконить расположение дороги от Летнего дворца до Невского проспекта. Тогда появилось распоряжение "О пересадке посаженных на Адмиралтейском лугу берёз на дорогу от Летнего новопостроенного на Фонтанке Императорского Дому до Невской перспективы по обеим сторонам". Скорее всего это не было реализовано, так как спустя год берёзы на Адмиралтейском лугу упоминались в другом приказе. Их теперь планировали пересадить в Императорские сады и на полицейский двор.
Хозяйственные постройки между Фонтанкой и Караванной улицей оставались целыми вплоть до конца 1750-х годов. Распоряжения о их сносе появлялись неоднократно.
Так как параллельный Караванной улице естественный берег Фонтанки был слишком низок, застройка этой городской магистрали производилась в первую очередь с её западной стороны, началась она не раньше конца 1770-х годов. Из-за этого в 1780-х годах улицу иногда называли "набережной Караванной", то есть домов со стороны Фонтанки тогда ещё не было. Время появления первых зданий на Караванной улице прослеживаются по объявлениям о сдаче здесь жилья. Первые подобные объявления появляются в 1778-1779 годах. Доходные дома здесь принадлежали в основном купцам. В 1778 году были построены дома полковника Петра Ивановича Турчанинова (№3) и придворного кровельного мастера Егерера (№5). В последнем из них поселился Иосиф Жоли, открывший один их первых петербургских пансионов для совместного обучения мальчиков и девочек. Жоли так отзывался о своём жилище:
Застройка доходными домами чётной стороны Караванной улицы началась во второй половине 1780-х годов. Одним из первых жилых зданий здесь стал дом купца Зимина (№26). По мнению историка П. Н. Столпянского его возвёл известный итальянский архитектор Джакомо Кваренги, примерно в 1788 году. Дом Юрьевой (№24) к 1792 году оставался ещё недостроенным, а дом Абазы (№22) в 1791 году был "немазанным". Далее территория оставалась незастроенной.
Судя по сведениям из "Большой топонимической энциклопедии Санкт-Петербурга" современное название магистрали известно с 1788 года. Но на плане 1798 года её участок от Итальянской улицы до Невского проспекта был включён в состав первой. В 1792-1798 годах встречался и другой вариант топонима - Корованная улица.
Территория между Караванной улицей и Фонтанкой вдоль Невского проспекта до 1790 года принадлежала казне, а затем была передана приказу Общественного призрения. Приказ предпринимал несколько попыток её продать. Покупателем оказался известный поэт Г. Р. Державин, который очевидно был не только поэтом, но и видным инвестором в земельные участки. Вскоре он перепродал территорию купцу Шарову, для которого в 1799-1806 годах здесь был построен дом с фасадами на все три стороны (дом №28).
Дома с №2 по №20 очевидно были построены в начале XIX века. Атлас Н. Цылова за 1849 год показывает Караванную улицу полностью застроенную каменными домами. Единственной деревянной постройкой здесь тогда был павильон панорамы на Манежной площади.
Парад переименований городских улиц в начале советского периода истории не прошёл мимо Караванной улицы. В 1920 году её переименовали в улицу Толмачёва, в честь Н. Г. Толмачёва, члена Петербургского комитета РКП(б), участника событий октября 1917 года.
Историческое название Караванной улице было возвращено 4 октября 1991 года.
