Андрей Алексеевич Михайлов родился 8 августа 1773 года в Санкт-Петербурге. В шесть лет он был отдан в Воспитательное училище при Академии художеств, где его преподавателями стали И. Е. Старов, Ф. И. Волков, А. Д. Захаров. В 1794 году за выпускной проект гостиного двора он получил Большую золотую медаль и право на заграничную поездку для продолжения обучения. В историю архитектуры он вошёл как Михайлов 2-й. 1-м стал его старший брат Александр.
Воспользоваться правом выезда за границу Андрей Михайлов не смог, так как такие поездки временно были прекращены. Совет Академии художеств оставил его преподавателем архитектурного класса. Параллельно с преподавательской зодчий начал и практическую деятельность.
Первые самостоятельные постройки Андрея Михайлова: дом купца Чанжина (наб. р. Фонтанки, 163) и здание Российской Академии (1-я линия ВО, 52). Позже им был построен дом купца Ганина (Большой пр. ВО, 28). В 1811 году архитектором было начато строительство церкви святой Екатерины на Кадетской линии. В конце 1810-х годов Михайловым 2-м проводились переделки интерьеров в здании Академии художеств. Архитектор переделал вестибюль, устроил чугунную лестницу, натурный класс, новый лазарет. В академическим саду им был построен рисовальный корпус. В 1811 году Михайлов 2-й получил звание профессора архитектуры.
При организованном в 1816 году Комитете по делам строений и гидравлических работ, Андрей Михайлов наблюдал за архитектурно-строительными работами, ведущимися в городе. В его обязанности также входила разработка общих градостроительных планов. Так, в 1818 году Михайловым 2-м был разработан план реконструкции Петроградской стороны. Этот проект архитектора не был осуществлён.
В 1820-х годах зодчий А. А. Михайлов 2-й участвовал в конкурсах на строительство здания Сената и Синода, Исаакиевского собора. Им было созданы проекты трёх больниц и Концертного зала. Михайловым 2-м было построено здание Комендантского управления (Садовая ул. 3). Вместе с К. Росси он участвовал в строительстве Михайловского дворца. В эти же годы зодчего досрочно утвердили в качестве ректора архитектуры.
Одной из самых выдающихся работ Андрея Михайлова стал дом Корсаковых (Владимирский пр. 12). Также зодчий привлекался к переделкам интерьеров во дворце Бобринского и Юсуповском дворце на Мойке.
Активная деятельность Михайлова 2-го прервалась в 1830 году. Посетивший выставку работ выпускников и профессоров Академии художеств Николай I высказался о ней крайне отрицательно. В низком качестве предоставленных работ были обвинены как студенты, так и профессора. Вместе с другими архитекторами от работ был отстранён и Михайлов 2-й, ему перестали поступать государственные заказы. Вскоре его имя вообще перестало появляться среди имён действующих архитекторов.
Прекращение Михайловым 2-м активной деятельности связано прежде всего с уходом классицизма. Несмотря на претензии Николая I, Михайлову удалось воспитать новое поколение зодчих. Самыми известными его учениками стали А. П. Брюллов, К. А. Тон и Н. Е. Ефимов.
Андрей Алексеевич Михайлов умер в 1849 году.
