Карл Карлович Рахау родился 12 июня 1830 года в Санкт-Петербурге в семье биржевого маклера. В детстве Карл любил рисовать, в результате чего был отдан на обучение в Академию художеств. Его учителем был К. А. Тон. Учёбу в Академии Карл Рахау закончил в 1857 году с золотой медалью, что дало ему право на поездку за границу для продолжения обучения.
В этом же году молодой архитектор уехал за границу. Он посетил Испанию, Францию, Италию. Карл Рахау принимал участие в составлении проекта реставрации дворца Альгамбра, что было отмечено золотой медалью на Парижской выставке 1862 года.
За границей Рахау провёл семь лет. Вернувшись в Санкт-Петербург, он сразу же получил звание академика архитектуры. В 1866 году архитектор был зачислен в Техническо-строительный комитет министерства внутренних дел, ещё через один год - в Строительное отделение Санкт-Петербургского губернского правления. Тогда же он начал преподавательскую деятельность в Академии художеств. Там он занимался скульптурным отделом Музея, отделкой Малого конференц-зала. В 1870 году Рахау получил звание профессора архитектуры и стал членом Совета Академии. С 1871 года Карл Рахау работал старшим техником в Городской управе. В 1873 году он вошёл в состав Строительного комитета Канцелярии по учреждениям императрицы Марии.
Одна из первых архитектурных работ Карла Рахау в Петербурге - часовня-усыпальница графов Левашовых в Александро-Невской лавре. Для владельца чугунолитейного и механического заводов Ф. К. Сан-Гали зодчий построил особняк на Лиговском проспекте. Для того же заказчика Рахау были построены жилой дом и контора (Лиговский пр. 58, 60), жилой дом на Пушкинской улице (дом №9). Для заводчика Кенига архитектор возвёл доходный дом (Большой пр. ВО, 15/5).
Карлом Рахау перестраивались дом генерального консула Баварии Э. М. Мейера (Английская наб. 30), дом И. Ф. Громова (Дворцовая наб. 8), дом С. А. Меншикова (Английская наб. 54). В 1872-1874 годах архитектор восстанавливал после пожара здание немецкой церкви на Мойке. Рахау составил проект Сенного рынка, который не был осуществлён.
Для наследника престола великого князя Александра Александровича (будущего Александра III) Карл Рахау переделывал интерьеры в Аничковом дворце. По его рисункам были установлены фонари у Александровской колонны, выполнена ограда Литейного моста.
Карл Карлович Рахау был одним из учредителей Санкт-Петербургского общества архитекторов.
В 1880 году Карл Рахау уехал на лечение в Германию, в Висбаден. На обратном пути у архитектора случился приступ психического расстройства. 27 июня 1880 года он умер в одной из больниц Зальцбурга.
