Николай Ефимович Ефимов родился 9 мая 1799 года в деревне Яковлево в Курской губернии, воспитывался в доме местного помещика Е. Г. Заплатина. В шесть лет мальчик уже умел писать, читать и хорошо рисовать. 6 октября 1806 года Николай поступил в Академию художеств. На выпуском экзамене он выполнил проект музея, за который удостоился золотой медали и права на заграничную поездку для продолжения обучения.
Перед поездкой за границу Николай Ефимов остался при Академии, где начал обучать воспитанников черчению ордеров. В 1826 году по поручению президента Академии художеств А. Н. Оленина Ефимова отправили в Киев для обследования обнаруженных остатков Десятинной церкви. Архитектор увлёкся археологией, проводил соответствующие научные работы в Новгороде и Москве.
Заграничная поездка Николая Ефимова началась в 1827 году. Он посетил Пруссию, Австрию, Италию, Грецию. В Санкт-Петербург зодчий вернулся в 1840 году, сразу же был признан академиком и причислен к Кабинету Его Императорского Величества.
В новой должности Николай Ефимов помогал В. П. Стасову восстанавливать Зимний дворец после пожара. Архитектор принимал участие в разработке проектов Фельдмаршальского, Петровского, Гренадерского, Белого, Аполлоновна и Георгиевского залов. Он же занимался окончательной отделкой галерей Малого Эрмитажа.
Николай Ефимов трудился не только в Санкт-Петербурге. За работы в Орле, Казани и Нижнем Новгороде он получил звание почётного вольного общника Академии художеств. Позже ему присвоили звание профессора второй степени, даже без исполнения программы.
Архитектору довелось завершить формирование Исаакиевской площади. В 1844 году Николай Ефимов начал строительство зданий министра и министерства государственных имуществ. Им же была создана художественная ограда памятника Николаю I.
В 1847 году по проекту Николая Ефимова начали перестраивать здание Городской думы. Им же были выполнены проекты Шуваловского дворца (наб. р. Фонтанки, 21) и дома С. О. Китнера (Исаакиевская пл. 7). Архитектор принимал активное участие в строительстве Нового Эрмитажа - корректировал линии южного фасада здания и изменял конструкцию сводов первого этажа. Николаем Ефимовым был создан проект Воскресенского Новодевичьего монастыря (Московский пр. 100), Миловской церкви на Захарьевской улице, Малокаменской церкви в Коломне. Зодчим построены дом обер-полицмейстера и полицейского управления Адмиралтейской части (Большая Морская ул. 22), Единоверческая церковь святого Николая (Захарьевская ул. 18), дом департамента внешней торговли (Малый пр. ВО, 15), дом таможенного ведомства (Средний пр. ВО 21), дом А. Н. Якунчиковой (наб. р. Мойки, 66). Зодчим была распланирована Знаменская (ныне Восстания) площадь.
Николай Ефимов никогда не был женат и не имел детей. Всю свою жизнь он отдавал профессии. Но активно работать ему довелось лишь десять лет. В 1849 году Николай Ефимович Ефимов скончался, был похоронен на кладбище Новодевичьего монастыря.
