Первое название этой улицы - Преображенская. В 1739 году было решено проложить магистраль от Кирочной улицы до Разъезжей, новая улица впоследствии распалась на две - современные Марата и Маяковскую. Первая из них стала называться Преображенской, так как близ Кирочной улицы квартировался Преображенский полк. Преображенская улица соединяла Невский проспект с Разъезжей улицей. Дальше Разъезжей магистраль называлась Семёновской, по расквартированному в этом районе Семёновскому полку.
В 1746 году в доме который находился на месте современного дома №21 открылась временная церковь. Здесь располагался участок комиссара главной дворцовой канцелярии Фёдора Якимова. Именно с этой церкви начинается история Владимирского собора. В 1780-х годах на месте дома №14 был построен двухэтажный каменный дом, в котором поселился Александр Николаевич Радищев с супругой. Именно в этом доме он написал и отпечатал "Путешествие из Петербурга в Москву".
Район между современными улицей Марата и Владимирским проспектом в XVIII веке был занят Дворцовыми слободами. Здесь жили придворные служители: конюхи, повара, портные, лакеи. Улицу проходившую через эту слободу и упирающуюся в Преображенскую улицу было решено назвать Стремянной. Именно в районе этой улицы были расселены служители императорского Конюшенного двора. В обиходе существовало и другое название - Ведёрная, по местному кабаку, отпускавшему водку вёдрами.
В конце XVIII века эту улицу в обиходе всё чаще называли Грязной. Располагалась она на окраине Санкт-Петербурга, здесь никогда не селились богатые горожане. В конце концов улица стала официально именоваться Грязной. В 1790-е годы был построен дом №79.
В 1817-1819 годах по проекту В. П. Стасова строилось новое здание для Ямского рынка. В 1820-1827 годах строилась Никольская единоверческая церковь. В доме №25 жила родная сестра А. С. Пушкина Ольга. В гостях у неё не раз бывал Александр Сергеевич. Вместе с Ольгой здесь жила няня Пушкина Арина Родионовна. В этом доме 29 июля 1828 года Арина Родионовна умерла. В 1843 году в доме №23 поселилась семья архитектора Василия Петровича Стасова. Стасовы занимали здесь большую квартиру, комнаты сыновей Василия Петровича Владимира и Дмитрия находились на полэтажа выше других. К ним вела деревянная лестница, на которой Владимир Стасов иногда упражнялся в фехтовании.
В первой половине XIX века Грязную улицу объединили с Семёновской.
После смерти Николая I в октябре 1856 года улицу переименовали в Николаевскую. Поводом смены названия именно этой магистрали дала близость Николаевского вокзала, построенного именно при императоре Николае.
В 1859 году по проекту А. Кракау был построен доходный дом №13. В 1860-х годах в доме №1 поселился известный в то время писатель Григорий Петрович Данилевский. Здесь он прожил 26 лет. В 1864 году в доме №1 открылась лавка купца Василия Ионовича Соловьёва. Именно этому предпринимателю со временем перешли рестораны Палкина и Лейнера, две гостиницы (одна из которых "Северная", ныне "Октябрьская"). В конце XIX века лавка Соловьёва сменила профиль, стала рестораном, получившим в городе хорошую известность. В 1870 году был построен дом №9. В 1873 году построен дом №64. В 1870-х годах домом №1 владел купец 1-й гильдии Василий Андреевич Лапшин, первым ставший изготовлять в России безопасные спички. В 1876-1877 годах после перестройки приобрёл существующий облик дом №14. В 1880 году квартиру в доме №11 нанял Николай Евгеньевич Суханов, руководитель Военной организации партии "Народная воля". Здесь он был арестован в мае 1881 года спустя 2 месяца после убийства Александра II.
В конце XIX века на участке дома №7 была построена Троицкая церковь. В 1888-1890 годах построен особняк К. Б. Зигеля - дом №63. В 1894-1895 годах для книгоиздателя Игнатия Тузова был построен дом №17. Здесь Тузов жил со своей семьёй, значительную часть дома сдавал в наём. В доме №14 в конце XIX века находилась обувная фабрика, а в начале XX - "Петербургская прядильня искусственной шерсти". В 1890-х годах в доме №70 жил архитектор Александр Иванович фон Гоген (автор особняка Кшесинской, здания музея Суворова).
В мае 1912 года в доме №37 (квартира №34) был выпущен первый номер газеты "Правда". Здесь она выходила несколько первых месяцев своего существования. В 1914-1934 годах в доме №9 жил будущий композитор Дмитрий Дмитриевич Шостакович. В 1915-1920-х годах в доме №58а работал популярный в то время театр "Синяя птица".
В 1917 году особая комиссия Временного правительства пожелала назвать Николаевскую улицу проспектом Двадцать Седьмого Февраля. Однако осуществить задуманное она не успела. В 1918 году улица получила имя французского революционера Жана-Поля Марата. В 1950-х годах улицу продлили через Семёновский плац от Звенигородской улицы до Подъездного переулка. В 1952 году построен дом №92 (вместе с противоположным ему через улицу Марата), в 1959 году - дом №90.
В 1970-х годах на месте снесённой Троицкой церкви было построено здание общественной бани (дом №7). В доме №11 в настоящее время работает Генеральное консульство Швейцарии, в доме №15 - Генеральное консульство Венгерской республики. В 2002 году в доме №25 разместилась редакция газеты "Санкт-Петербургские ведомости".