До возникновения Санкт-Петербурга территория, где берёт своё начало Большой Сампсониевский проспект, являлась островом, отделённым от остальной земли небольшим протоком. Первый участок трассы сформировался к 1730-м годам севернее Сампсониевского собора, как часть Выборгского шоссе.
Первое деревянное здание собора было построено здесь в 1709 году в честь победы под Полтавой. В 1728-1740-х годах построено каменное здание собора.
С 1739 года дорога стала называться Сампсониевской улицей. В середине XVIII века проток засыпали, дорогу продлили к югу от собора. Далее эта территория стала гораздо быстрее осваиваться вглубь невского берега. В 1798 году была основана Медико-Хирургическая академия (с 1881 года - Военно-медицинская). Обширный участок правой стороны Сампсониевской першпективы вплоть до современной улицы Комиссара Смирнова (ранее Ломанский переулок) был отдан ей. К северу от госпитальных слобод начали строиться мануфактуры, деревянные жилые дома.
С начала XIX века магистраль стала называться Большим Сампсониевским проспектом. Между ним и берегом Невы начали обосновываться многочисленные промышленные предприятия.
В 1837 году была основана Сампсониевская бумагопрядильная мануфактура. Её корпуса (дом №32) в настоящее время занимает прядильно-ткацкая фабрика "Октябрь". В 1830-х годах для Литовского полка по проекту А. Е. Штауберта построен дом №63. В настоящее время он принадлежит Военному институту физической культуры.
В 1842 году Э. Нобелем у Сампсониевского проспекта была основана фабрика по изготовлению морских мин. Строительство фабричных зданий в разное время здесь вели К. К. Андерсон, Р. Ф. Мельцер и Ф. И. Лидваль (дома №26, 28). Дом №30 построен по проекту Г. Ф. Джонсона. Впоследствии этот завод ("Русский дизель") стал одним из крупнейших городских предприятий тяжёлого машиностроения. Владения Нобелей включали в себя жилые колонии. Дома рабочих располагались вдоль внутриквартального проезда от Большого Сампсониевского проспекта (дома №20).
В 1840-х годах между проспектом и Невой архитектором Л. Л. Бонштедтом были построены корпуса сахарного завода А. Л. Штиглица (дом №24). Память о этом производстве хранит примыкающий к проспекту Сахарный переулок.
В 1864 году архитектором Н. Егоровым был построен дом №37. В 1865-1873 году по проекту К. Я. Соколова возведены корпуса хирургической клиники им. П. А. Куприянова (дом №5). В 1879-1880-х годах был построен лесопильный завод и льноджутовая мануфактура Д. Н. Лебедева (дом №28). В 1881-1890-х годах - особняк и контора завода Кеннига (дом №24). В 1882 году по проекту П. Ю. Сюзора для нужд служащих Сампсониевского собора построен дом №43. В 1898 году был основан машиностроительный завод "Новый Лесснер" (дом №66). В 1899-1913 годах архитектором К. К. Шмидтом для завода Л. М. Эриксона построен дом №60. Здесь выпускались телефонные аппараты, в советское время - оборудование для автоматических линий связи.
В 1901-1905 годах М. И. Китнером построены корпуса (дом №65) педиатрического медицинского института (ныне академии). В 1908 году перед главным входом в хирургическую клинику им. П. А. Куприянова был установлен памятник врачу и общественному деятелю С. П. Боткину. В 1911 годах была построена церковь Святой княгини Анны Кашинской (дом №53). В 1911-1912 годах построено здание кондитерского общества Ландрин (дом №77, сейчас - кондитерский комбинат "Азарт"). В 1913-1914 годах для Учительского института по проекту В. М. Андросова был построен дом №86. В 1914-1915 годах - дом №88, здание бывшего Городского архива. В 1914-1916 годах построены корпуса завода "Русский Рено" (дом №69).
В мае 1918 года к столетию Карла Маркса магистраль была переименована в проспект Карла Маркса.
В 1924-1927 годах по проекту В. А. Щуко и В. Г. Гельфрейха была построена вторая понижающая подстанция Волховской ГЭС (дома №14, 16). В 1927-1928 годах близ Сампсониевского собора был разбит Сампсониевский сад. В 1929 году построена Выборгская фабрика-кухня (дом №45), в доме №37 открылся клуб "им. 1 мая". В 1934 году на углу с улицей Комиссара Смирнова был разбит Выборгский сад. В 1944-1958 годах в доме №7 жил физиолог Л. А. Орбели.
В 1951-1953 годах по проекту В. Ф. Белова и Л. М. Гольдвассера построен жилой дом (№17 по ул. Комиссара Смирнова), Выборгский сад обнесён декоративной оградой. В 1950-х годах построены жилые дома №70-80, 108. В 1967-1970 годах по проекту С. Б. Сперанского, В. Э. Струзмана и Н. В. Каменского построена гостиница "Ленинград" (ныне "Санкт-Петербург", дом №2/5). В 1968 году на углу проспекта и улицы Смолячкова (ранее Бабурин переулок) установлен памятник Герою Советского Союза снайперу Ф. А. Смолячкову. В это же время на углу с улицей Александра Матросова (ранее улица Батенина) установлен памятник герою Александру Матросову. В середине 1970-х годов Большой Сампсониевский проспект пересекла новая транспортная магистраль - Гренадёрская улица, проложенная по территории Сампсониевского сада к новому Гренадёрскому мосту. В 1980-е годы по проекту В. Э. Струзмана построен жилой комплекс (дом №12), выходящий главным фасадом на Финляндский проспект.
В 1991 году проспекту возвращено прежнее название - Большой Сампсониевский. В 1996 году на углу с Боткинской улицей был установлен памятник военным медикам. В 2003 году близ Сампсониевского собора был воссоздан памятник Петру I.
В 2003 году началось строительство элитного жилого комплекса "Монблан" (дом №4). Был принят проект, предусматривающий постройку здесь здания высотой 70 метров. В 2005 году градостроительный комитет принял высотный регламент, ограничивающий высоту зданий в этом районе 42 метрами. Строительная компания "Строймонтаж" не согласилась с ограничением высоты здания, в котором уже были проданы почти все квартиры, и продолжила возведение высотки.
В 2004 году в здании №30 начал работу Санкт-Петербургский станкостроительный завод "Техническое Бюро Станкостроения". На территории кондитерского комбината "Азарт" (дом №77) в настоящее время предполагается строительство нового жилого района.
