Точные место и дата рождения Михаила Григорьевича Земцова не известны. Считается, что он родился в 1686 или 1688 году. Вероятно, начальное образование он получил в Москве в школе при Оружейной палате.
Первые достоверные сведения о Михаиле Земцове относятся к 1709 году, когда он учился в Петербургской губернской канцелярии итальянскому языку. В 1710 году по указу Петра I способный юноша был отправлен на службу в Канцелярию городовых дел. Канцелярия тогда руководила возведением каменной крепости "Санкт-Петербург" и строительством вокруг неё города. Возглавлял её Доменико Трезини, при этом архитекторе Михаил Земцов получил возможность многому научиться.
Незаурядные способности Михаила Земцова были замечены Доменико Трезини, который часто даже оставлял своего ученика для работы с другими обучаемыми. Именно Трезини рекомендовал Земцова для поездки в Москву, когда в 1718 году начались работы в Московском Кремле и Китай-Городе. Руководителем строительства был назначен Михаил Земцов.
В 1719 году умер архитектор Г. И. Маттарнови, а в 1720 году - Ж. Б. Леблон. Их работу продолжал Н. Микетти. Итальянец оказался в сложном положении, так как прожил к тому времени в России всего год, плохо знал русский язык. В помощники ему был вызван из Москвы Михаил Земцов, так как мог не только оказывать поддержку в работе, но и быть переводчиком. После положительных отзывов итальянца о Земцове, русскому архитектору присвоили звание "архитектурии гезеля". После этого Земцов смог вести самостоятельную работу.
1721-й год Михаил Земцов провёл в Ревеле, где завершил своё первый самостоятельный проект - Ревельский дворец Екатерины I. Затем Пётр I отправил Земцова в Стокгольм. Сходство климатических условий в Швеции и в Санкт-Петербурге позволяло надеяться на то, что рецепт приготовления шведами штукатурки сможет применяться и в столице России. Изучением этого рецепта и занимался Михаил Земцов.
После отъезда Н. Микетти из России все его работы передают Земцову. С тех пор Михаил Григорьевич был занят в Санкт-Петербурге. Он возглавлял все работы, которые шли в петербургских и пригородных царских резиденциях. Земцов благоустраивал парк в Петергофе, работал над Большим Каскадом. Несмотря на все заслуги, архитектор долго оставался "архитектурии гезелем", то есть подмастерьем. Тогда считалось, что человек скромного происхождения обязан обходиться и скромным достатком.
Несмотря на постоянную занятость, Земцов находил время для подготовки новых специалистов. Известность Михаила Земцова как педагога была большой, его мастерская стала самой большой в Санкт-Петербурге. В 1724 году архитектору наконец-то официально присвоили звание архитектора.
После смерти Петра I основные работы при императорском дворе постепенно передаются Ф. Б. Растрелли. Работы Земцова для Анны Иоанновны ограничились Петергофом. В Петербурге с 1731 по 1734 год по его проекту строилась церковь Святых Симеона и Анны. Около трёх лет Земцов возглавлял строительство Александро-Невского монастыря.
В 1734 году умер Доменико Трезини. Земцову были переданы все его работы. В 1735 году он стал архитектором Петербургской полицмейстерской канцелярии, став таким образом фактически главным архитектором города. В 1741 году Земцов начал работу над своим главным проектом - каменным Троицким собором на Троицкой площади. Проект так и не был осуществлён. Одновременно с работой над проектом собора Земцов занимался и другими делами, например расквартировывал персидское посольство.
При Елизавете Петровне Земцов снова стал придворным архитектором. Ему было поручено провести реставрацию московских дворцов перед коронацией Елизаветы. По возвращению в Санкт-Петербург Михаилу Григорьевичу было поручено строительство Аничкова дворца. В то же время архитектор разработал план реконструкции дворца в Царском Селе.
Несмотря на огромную занятость, оплата труда Михаила Земцова долго не пересматривалась. К началу 1740-х годов он получал столько же, сколько и в 1724-м. Лишь незадолго до смерти архитектор получил чин подполковника.
Михаил Григорьевич Земцов умер 28 сентября 1743 года. Благодаря высочайшей работоспособности мастера, после его смерти ходили слухи, что его дела распределили между тринадцатью архитекторами, так этих дел оказалось много.
