Александр Иванович Кракау родился 8 апреля 1817 года в Санкт-Петербурге. Начальное образование он получил в школе святого Петра (Петришуле). В 1826 году Александр Кракау поступил в Академию художеств, в класс, где преподавал К. А. Тон. В 1839 году Александр Кракау закончил Академию художеств с Большой золотой медалью, что дало ему право выехать за границу для продолжения обучения. Но воспользовался он этим правом только через три года. Перед этим, молодой архитектор работал у своего учителя К. А. Тона в чертёжной Комиссии для построения храма Христа Спасителя.
В 1842 году зодчий выехал за границу (в Италию), вернулся в Россию спустя восемь лет. По возвращению Кракау сразу же зачислили архитектором в Кабинет Его Императорского Величества и присвоили звание академика архитектуры. В 1853 году за проект греко-российской церкви Александр Кракау был удостоен звания профессора архитектуры.
На следующий год зодчий перешёл на работу в правление Первого округа путей сообщения. На этом посту он создал одно из своих самых известных построек - Балтийский вокзал (1855-1857 года). Этот вокзал строился на личные средства барона А. Л. Штиглица, который и доверил Кракау данную работу. Кроме того, Кракау для Штиглица построил особняк на Английской набережной, дачу на Каменном острове, здание детского приюта (Мастерская ул. 4). В 1876 году Барон создал Училище технического рисования. Проект здания училища (Соляной пер. 13) также разработал Кракау (1878-1881).
По проекту Александра Кракау были построены здание Общества взаимного кредита (Адмиралтейская наб. 14), собственный доходный дом (8-я линия ВО, 43), больница Общины сестёр милосердия (ул. Чайковского, 73), Мариинский рынок (ныне Апраксин двор), часовня и ограда при Андреевском соборе.
За пределами Петербурга зодчий построил церковь святой Троицы в Ивангороде. Этот храм стал усыпальницей баронессы К. Л. Штиглиц и приходской церковью для рабочих фабрики барона.
В 1867-1888 годах архитектор преподавал в Академии художеств. В 1871 году стал её профессором.
За особые заслуги Кракау был награждён орденами святого Станислава первой степени и святой Анны первой степени. В 1882 году зодчий был произведён в тайные советники, в 1885 году получил потомственное дворянство. Кракау служил главным архитектором Дирекции императорских театров, был членом Технической конторы министерства императорского двора, являлся одним из учредителей Санкт-Петербургского общества архитекторов.
Александр Иванович Кракау скончался 12 апреля 1888 года. Его отпевали в лютеранской церкви святого Петра, похоронили на Смоленском кладбище.