Менделеевская линия находится в восточной части Васильевского острова, который после основания Санкт-Петербурга был подарен Петром I своему приближённому князю Александру Даниловичу Меншикову. Когда на острове было решено строить главную, центральную часть Петербурга, остров перешёл в ведение казны. Его восточный мыс должен был стать главной городской площадью. Западную сторону этой площади начали застраивать уже в 1720-х годах. С 1722 по 1742 год здесь архитектором Доменико Трезини было построено здание Двенадцати коллегий (дом №2). Эта постройка сформировала чётную сторону современной Менделеевской линии.
По трассе Менделеевской линии в начале XVIII века прокопали канал. Он помогал осушить территорию Коллежской площади, простиравшейся с восточной стороны улицы. Саму магистраль с 1776 года тоже называли Коллежской. Канал был закопан в конце XVIII столетия. Тогда же торцом к Менделеевской линии по проекту архитектора Кваренги было построено здание Академии наук (дом №1/5). Он же в начале 1800-х годов построил Новобиржевой Гостиный двор (дом №5).
В 1820-х годах к востоку от улицы появился Биржевой сквер, в 1826-1831 годах построен музейный флигель Академии наук (дом №1). В 1834 году была озеленена и её западная часть путём организации сквера вдоль всего здания Двенадцати коллегий. Магистраль иногда включали в состав Биржевой линии, но в 1849 году окончательно отделили от неё и назвали Университетской. С 1866 по 1890 год в нижнем этаже здания Двенадцати коллегий жил Д. И. Менделеев, с чьей фамилией связано современное название магистрали. Коллежская площадь была уничтожена постройкой на её месте в 1899-1904 годах здания НИИ акушерства и гинекологии (дом №3). Это здание окончательно сформировало застройку улицы.
Украшением Университетской линии в 1918 году стал памятник немецкому поэту Генриху Гейне скульптора В. А. Синайского. Этот монумент не сохранился.
6 октября 1923 года Университетскую линию переименовали в линию имени Профессора Менделеева. В быту быстро сформировалось более короткое название - Менделеевская, так линия стала называться с 1930-х годов.
В 1936 году в центре магистрали устроили сквер, перепланированный в 1950-х годах архитектором Б. М. Серебровским. В 1986 году рядом с Университетской набережной установили памятник М. В. Ломоносову. Его создали скульпторы Б. А. Петров и В. Ж. Свешников, архитекторы Э. А. Тяхт и И. А. Шахов.