Большая Морская улица, как и Малая Морская, возникла в первые годы существования Санкт-Петербурга. Это были дороги Морских слобод у Адмиралтейства, вдоль которых селились моряки, работники Адмиралтейства. Название "Большая Морская" улица получила практически сразу же, топоним известен с 1733 года. Часть Большой Морской от Невского проспекта до Кирпичного переулка в XVIII веке была частью Миллионной улицы.
В начале XVIII века здесь раздавались участки вдоль реки Мьи (Мойки). Её изгиб определил направление будущей Большой Морской улицы. До 1730-х годов участок магистрали за Исаакиевской площадью не выходил к Мойке, трасса шла правее.
Судя по переписи 1717 года в петровское время улицы Морской слободы назывались линиями. Современная нечётная сторона Большой Морской улицы была 2-й линий, а чётная - 3-й. 1-й линией была Малая Морская улица, дома на которой были лишь с чётной стороны.
В 1719 году архитектору Н. Ф. Гербелю было поручено выправить хаотичную застройку Морской слободы и проложить здесь новые улицы. Кроме того его обязали завершить строительство Мытного двора, неоконченного скончавшимся Г. И. Маттарнови. Так возникло существующее направление Большой Морской улицы. Новая трасса стала одной из дуговых магистралей, пересекающих три луча, расходящихся от Адмиралтейства: Невский и Вознесенский проспекты, Гороховая улица. Для её прокладки сломали 21 двор.
Здание Мытного двора было построено на месте существующих сейчас домов №14 и 16. Оно было двухэтажным, с башенкой посередине со стороны Мойки. Торговали здесь не только продуктами, но и дорогими товарами, двор вскоре стали называть Гостиным. Это вызывало недовольство купцов торгующих в Гостином дворе на Петербургской стороне, Мытный двор отбирал у них клиентов. В 1721 году напротив Мытного двора были высажены клёны, огороженные для "сбережения" от скота. При Екатерине I площадь перед двором была вымощена камнем, здесь было выделено место для казней.
По левой стороне Большой Морской улицы участки планировались сквозными к реке. На другой стороне улицы участки примыкали к владениям по Малой Морской улице. Дома здесь первоначально строились мазанковые или деревянные, затем тут начали появляться одни из первых каменных городских строений.
В 1720-х годах участком дома №20 владел вице-президент Коллегии иностранных дел барон Пётр Павлович Шафиров.
В 1736 и 1737 годах пожары уничтожили практически всю первоначальную застройку этого района. Сгорел и Мытный двор, который не стали восстанавливать. К тому времени на Адмиралтейскую сторону переместился центр города, рынок здесь оказался неуместным. На его месте было решено построить новый каменный Гостиный двор. 20 апреля 1738 года Большую Морскую улицу переименовали в Большую Гостиную. Однако Гостиный двор здесь так и не был построен, новое название не прижилось. Торговое заведение в этом районе всё же было открыто, но на другом участке - на месте современного дома №42 в 1741 году были выстроены торговые ряды.
Вновь созданная "Комиссия о Санкт-Петербургском строении" принялась за создание регулярной планировки города. В состав комиссии вошли архитекторы П. М. Еропкин и М. Г. Земцов. После составления плана пострадавших от пожаров мест и составления реестра оставшихся строений был издан особый указ о застройке района впредь только каменными домами. Дома на Большой Морской улице строились строго по планам комиссии - все в два этажа на высоких подвалах. Для пожарной безопасности они строились с отступом друг от друга, между домами ставились въездные ворота. С 1760-х годов здания вновь стали строить вплотную друг к другу.
После пожаров 1736-1737 годов от пристаней на Мойке перпендикулярно Большой Морской улице проложили ряд переулков. По ним к стройкам подвозили материалы. У одного из новых переулков находились склады кирпича, отчего его и назвали Кирпичным. Другой некоторое время спустя стал называться Почтамтским, третий же получил функциональное имя - Выгрузной. Первые два переулка сохранились до наших дней, третий перестал существовать после перепланировки Исаакиевской площади.
Реализовываться план Комиссии начал в 1740-х годах. В это десятилетие Большая Морская улица была полностью застроена одноэтажными каменными домами на высоких подвалах. Большинство из них походили друг на друга и отличались разве что шириной и формой фронтона. Среди жилой застройки место нашлось и немецкому театру (дом №25.
В 1754 году по проекту Ф. Б. Растрелли был построен деревянный одноэтажный временный Зимний дворец для императрицы Елизаветы Петровны. Он был построен для размещения здесь императорского двора на время реконструкции Зимнего дворца. Здание временного дворца заняло территорию двух современных кварталов, оно перегородило проезд по Большой Морской улице со стороны Невского проспекта.
Рядом с царской семьей старались селиться представители дворянства и купечества. Часто они использовали свои особняки в качестве доходных домов. Квартиры снимали люди творческих профессий, в том числе и знаменитый архитектор Ж. Б. Валлен-Деламот (дом №36). На Большой Морской улице в 1750-1760-х годах жил великий русский учёный М. В. Ломоносов (дом №61).
В 1767 году был разобран временный Зимний дворец. После этого Большая Морская улица вновь получила выход на Невский проспект.
Нечётная сторона Большой Морской улицы от Дворцовой площади до Невского проспекта стала застраиваться в 1760-х годах. План застройки этого участка разрабатывала Комиссия о каменном строении Петербурга, над архитектурой частью плана работал А. В. Квасов.
Во второй половине XVIII века часть Большой Морской за Исаакиевской площадью называли Малой Морской улицей, а современную Малую Морскую - Новоисаакиевской. Большая Морская улица была продлена по берегу Мойки до Конногвардейского переулка в 1828 году.
В 1830 году перед домом генерал-губернатора (дом №38) впервые в Санкт-Петербурге мостовую замостили деревянными торцами. Автором идеи выступил инженер В. П. Гурьев.
В связи с реконструкцией Дворцовой площади участок Малой Миллионной улицы изменил своё направление. Его перестроили так, чтобы он через арку Главного штаба выходил строго на центр Зимнего дворца. С 1836 года эта трасса является начальным участком Большой Морской улицы. Она проложена строго с севера на юг, почти по Пулковскому меридиану. В полдень здесь можно ставить часы по собственной тени, это своеобразные городские солнечные часы.
Если на рубеже XVIII и XIX веков особняки оформлялись в стиле классицизм, то к 1830-м годам модным стало эклектичное оформление фасадов и интерьеров. Именно в этот период был перестроен особняк сенатора А. А. Половцова (дом №52), для семьи Демидовых были перестроены дома №43 и №45.
При реконструкции Исаакиевской площади в 1844-1853 годах для Министерства государственных имуществ был построен дом №42, для министра государственных имуществ - дом №44.
К середине XIX века стал застроен берег Мойки близ её пересечения с Крюковым каналом. В 1849 году здесь был построен офицерский корпус Конногвардейского полка (дом №67). Одновременно с ним строился корпус Морских казарм вдоль Мойки (дом №69).
По мере роста города район становится всё более дорогим, элитным. На Большой Морской улице селятся банкиры, купцы, другие богатые люди. Один за другим здесь открываются ювелирные мастерские и другие магазины, где можно было приобрести предметы роскоши. Так вскоре улица приобрела неофициальное название - Бриллиантовая.
В 1862-1865 годах на месте дома №58 была построена Немецко-Реформаторская церковь, чей высокий шпиль стал одной из высотных доминант в округе. Вместе с ним вертикальный акцент района создавала соседняя башня пожарной каланчи, построенная при Съезжем доме 1-й Адмиралтейской части (дом №65).
Большая Морская улица также выделяется тем, что именно на ней впервые применялись технические новшества. В 1835 году здесь появились первые газовые фонари, затем в 1884 году и электрические. Электрические лампы получали питание от электростанции, смонтированной на барже, стоявшей на Мойке ниже Полицейского моста. На фасаде дома №2 по настоянию Д. И. Менделеева были установлены первые в городе электрические часы.
В 1887 году в городе перенумеровывались дома на некоторых улицах. Среди них оказалась и Большая Морская. Именно тогда участок выходящий к набережной Мойки вошёл в состав нумерации Большой Морской улицы. 16 апреля 1887 года трасса была продлена до Крюкова канала.
Банковские здания на Большой Морской улице стали появляться в последней четверти XIX века. В 1887-1888 годах построен дом №32 - одно из первых специализированных банковских зданий в городе.
Наряду с банками перестройку частных особняков в массивные облицованные камнем здания заказывали и общественные организации, страховые и торговые фирмы. В 1890-1893 годах для Императорского Общества поощрения художеств был реконструирован дом №38. В 1898-1899 годах по проекту Л. Н. Бенуа для страхового общества "Россия" Был построен дом №37. В 1899-1900 годах для фирмы Фаберже был построен дом №24, для 1-го Российского страхового общества - дом №40.
В 1903-1904 годах для Центральной телефонной станции было построено специальное здание - дом №22. В 1905-1907 годах для страхового общества "Россия" был построен дом №35. В 1908-1913 годах строился дом №3-5 для Азовско-Донского банка. В 1912-1914 годах для Русского торгово-промышленного банка строился дом №15. В 1915 году на участке дома №18 началось строительство нового здания для Русского для внешней торговли банка. Достроено оно было лишь в 1930-1931 годах.
Большая Морская улица стала родной для известного писателя Владимира Владимировича Набокова. Он родился в доме №47, чей фасад в 1901-1902 годах для Набоковых был перестроен в стиле модерн.
10 июля 1902 года, по случаю 50-летия со дня смерти писателя Николая Васильевича Гоголя, Малую Морскую улицу назвали улицей Гоголя. Большую Морскую изменили на просто Морскую.
В 1920 году Морскую улицу переименовали в улицу Герцена, который жил здесь в доме №25 в 1839-1841 годах. В 1924-1925 годах в доме №49 жил О. Э. Мандельштам со своей женой. В 1929 году здание Немецко-Реформаторской церкви было перестроено в Дом культуры и техники работников связи (дом №58).
В 1934 году заканчивают строительство дома №8. В доме №1 открылось кафе, где впервые в городе начали продавать напиток "Кола". Сейчас этот напиток известен под названием "Кока-Кола".
7 июля 1993 года Большой Морской улице вернули историческое название. В настоящее время она является "культурным центром" Санкт-Петербурга. Здесь располагаются петербургские отделения Союзов Писателей, Художников, Архитекторов и Композиторов.