Первая переправа через Зимнюю канавку в месте её впадения в Неву была сооружена инженером Германом ван Болесом в 1718-1720 годах при оборудовании деревянных береговых стенок Дворцовой набережной. Она состояла из двух крыльев, разводящихся при помощи рычагов и зубчатых колёс. 20 апреля 1738 года мосту присвоили официальное название - Верхне-Набережный. С середины XVIII века горожане чаще именовали его Зимнедворцовым - по Зимнему дворцу Петра I, находящемуся тогда на месте здания Эрмитажного театра. Мост был нешироким, рассчитанным на проезд одной телеги или коляски.
При сооружении гранитной Дворцовой набережной была перестроена и эта переправа. В 1763-1766 годах здесь был сооружён каменный мост, облицованный гранитными плитами. Его отличительной чертой стала "горбатость", то есть высокий дугообразный подъём над Зимней канавкой. В качестве парапетов на мосте была установлена гранитная стенка.
С конца XVIII века до 1828 года переправа называлась Дворцовым мостом. С 1829 года благодаря соседству со зданиями Эрмитажа, переправа получила соответствующее название - Эрмитажный мост.
Эрмитажный мост был построен одновременно с переправой на другом конце Дворцовой набережной - Прачечным. Они стали первыми каменными мостами в Санкт-Петербурге, первыми, составившими единый архитектурный ансамбль с городской магистралью. Появление Прачечного и Эрмитажного мостов стало в Санкт-Петербурге заметным культурным событием.
К 1933 году Эрмитажный мост пришёл в аварийное состояние. В 1934 году по проекту инженера А. Д. Саперштейна и архитектора К. М. Дмитриева была проведена его реконструкция. Ширина переправы увеличилась на 1,44 метра в сторону Невы. Планировалось уменьшилась высоту мостового пролёта на 0,5 метров, благодаря чему уменьшилась бы его "горбатость". Это не было поддержано архитектурным комитетом, который рекомендовал лишь убрать подставки для фонарей, установленные здесь в XIX веке. Таким образом, после капитального ремонта Эрмитажный мост полностью сохранил свой узнаваемый облик.
Эрмитажный мост является одним из любимых мест петербургских фотографов и художников. Вид на него со стороны Миллионной улицы является одним из символов Санкт-Петербурга.
Длина Эрмитажного моста составляет 22,1 метра, ширина - 15,2 метров.