Трасса переулка Декабристов в своей начальной части проложена во второй половине XVIII века как дорога вдоль Немецкого кладбища. В конце XVIII века, когда в его створе был построен мост через реку Смоленку (Смоленский мост), роль улицы резко возросла.
В начале XIX века переулок был продлён в сторону Малой Невы. Он вёл к владению купца В. Жадимировского и часто именовался "дорогой к даче Жадимировского". В 1830-х годах он стал называться Голодаевским или Голодайским переулком (по названию острова на котором находится). Одновременно существовало и другое название - Голодаевская улица. В 1850-х годов на участке домов №7 была основана кожевенная фабрика купчихи А. П. Целибеевой. В 1912-1914 годах по проекту Ф. И. Лидваля построены выходящие к площади Балтийских Юнг дома №12 и 14.
В середине 1920-х годов, когда остров Голодай был переименован в остров Декабристов, соответствующее название получил и переулок.
В 1960-х годах были построены жилые дома №8 и 10. В 1971 году за Железноводской улицей в жилом квартале для Университета было построено новое шестиэтажное здание. В 1980-х годах на участке Немецкого кладбища были построены здания пожарной части (дом №1). На участке домов №7 в настоящее время работают предприятия "Ленкожвест", "Салют".
