Савва Иванович Чевакинский родился по одним данным в 1709 году (по другим - в 1713) в семье московских дворян. Им принадлежало село Вешки в Тверской губернии, где, вероятно, прошло детство будущего архитектора. Савва Чевакинский учился в Московской школе навигационных наук, с 1729 года - в Морской академии в Санкт-Петербурге. В 1731 году самовольно её оставил и записался писарем в Измайловский полк. В 1732 году возвратился в Петербург, избежал наказания за самовольное оставление службы в академии, стал учеником архитектора Адмиралтейств-коллегии И. К. Коробова. Под его руководством Чевакинский начал самостоятельное проектирование, помогал архитектору в перестройке здания Адмиралтейства.
С 1739 года Чевакинский стал числиться при Адмиралтейском ведомстве в чине гезеля. Таким образом он стал уже не учеником, а полноправным помощником Коробова, работавшего тогда в команде с П. М. Еропкиным и М. Г. Земцовым. По принятии в команду архитекторов он был проэкзаменован в Комиссии о Санкт-Петербургском строении, получил наивысшие оценки. Звание гезеля позволило Чевакинскому вести уже самостоятельные проекты.
В 1738 году Савва Иванович Чевакинский женился на дочери галерного дела мастера Ивана Ивановича Немцова. После смерти тестя его двор со строениями перешёл к Чевакинским.
После отъезда Коробова в Москву в 1740 году Савва Иванович встал на его должность архитектора Адмиралтейской коллегии. Спустя пять лет он получил звание архитектора и чин майора. Находясь на службе в Адмиралтействе Чевакинский разработал генеральный план застройки Кронштадта, руководил проектированием всех зданий коллегии в Петербурге и Кронштадте, обучал квалифицированных строителей. В 1744-1754 годах он вёл работы в Галерной гавани.
Получив звание архитектора, Чевакинский был назначен императрицей Елизаветой Петровной главным архитектором Царского Села. Там зодчий занимался строительством Екатерининского дворца по проекту Коробова. При этом он развивал и дополнял замыслы Коробова своими идеями. Именно по проекту Чевакинского была построена дворцовая церковь. Несколько позже к работам в Царском Селе подключился Ф. Б. Растрелли, с которым у Чевакинского сложились хорошие отношения. В 1748 году Савве Ивановичу было поручено разработать проекты каменных домов "для управителя Царского Села и для приезжающих господ и кавалеров". Эти Кавалерские дома существуют и сейчас. Позже зодчий возвёл другие служебные корпуса, дворцовые оранжереи, Нижние конюшни.
Савва Иванович Чевакинский работал и над частными заказами. В 1750-1755 годах он трудился над дворцом Шереметевых на Фонтанке (вместе с Ф. С. Аргуновым). В 1753-1755 годах строил дворец для графа Шувалова на Итальянской улице. Он же возводил дом Демидовых в Демидовом переулке (ныне переулок Гривцова).
В 1753-1762 годах Чевакинский возглавлял строительство Никольского Морского собора, ставшего самой известной работой архитектора. Колокольня Никольского собора является узнаваемым символом Петербурга. Савва Иванович стал автором и другого церковного здания - Троицкого собора в Колпино. В 1754-1758 он перестраивал здание Кунсткамеры после пожара 1747 года.
С 1755 по 1757 год Чевакинский был по совместительству архитектором Академии наук, руководил архитектурным классом. Среди его учеников были В. И. Баженов и И. Е. Старов. Класс Чевакинского стал предшественником архитектурного класса Академии художеств.
В 1760 году Савва Иванович Чевакинский приступил к проектированию кронштадтского здания Морского госпиталя. В 1765 году начал строить комплекс складов Новой Голландии. Свой творческий путь Чевакинский завершал полковником и обер-интендантом флота. Эти звания были самыми высшими для тех, кто не принимал участия в боевых действиях.
Работа над Новой Голландией стала последним крупным проектом архитектора. После вступления на престол Екатерины II планы и чертежи складского комплекса были переданы Ж. Б. Валлен-Деламоту. Архитектурный стиль барокко, в котором работал Чевакинский, постепенно уступал своё место классицизму.
Чевакинский ушёл в отставку из Адмиралтейств-коллегии в 1767 году. Он просил о "награждении его по мере означенных трудов". Однако получил вознаграждение Савва Иванович или нет - точно не известно. Вскоре Чевакинский уехал на родину в Тверскую губернию. Из-за финансовых затруднений в 1774 году он был вынужден продать часть имения.
Точная дата смерти Саввы Ивановича не известна. Предполагают что умер он в период с 1774 по 1780 годы.