В 1899 году в Городской Думе была образована юбилейная комиссия, где разрабатывались различные проекты по празднованию 200-летия Санкт-Петербурга. Предложено было множество проектов, среди них такие как строительство Беломорского канала или возведение здания Городской Думы на Петровской набережной. Но победила другая идея, принадлежащая Комиссии по образованию - построить Училищный дом имени Петра Великого. В те времена в России повсюду строились школы, открывались пансионы, идея просветительства, новых Училищных домов была в начале XX века крайне популярна.
Участок для строительства был вскоре намечен - участок на территории Пенькового буяна, у домика Петра I. Новое здание должно было стоять к нему фасадом. 19 марта вопрос был решён, под строительство было выделено 1800 кв. саженей. Здесь планировалось построить целый комплекс учебных домов. Так как до юбилея города оставалось совсем мало времени, к празднику успевали только ограничиться торжественной закладной первого здания.
16 апреля 1903 года Городская Дума вдруг отказывает комиссии в отведённом месте. Причина проста - высокая стоимость участка. В том месте где располагался Пеньковый буян кв. сажень стоила 220 рублей, это была большая сумма для того времени. К 29 апреля было предложено выделить место на углу Пеньковой улицы и Малой Дворянской, там земля стоила всего 120 рублей за кв. сажень. 12 мая Городская Дума всё же согласилась предоставить для строительства этот участок, и то не единогласно (38 - "за" и 21 - "против"). "В дни юбилейных торжеств на этом месте должно быть произведено освещение" - так решила Дума. До праздника оставалось всего три дня.
В день юбилея были открыты Троицкий мост и одетая в гранит Петровская набережная. Торжественная закладка Училищного дома состоялась на следующий день. Среди важных гостей были как известные российские политические деятели, так и множество иностранных лиц. Среди них были парижская и сербская делегации, мэры французских городов, бургомистры Берлина, Мюнхена, Данцига и Кёнигсберга, глава Софии, мэр Бухареста, бургомистр Стокгольма. В символический фундамент была заложена памятная доска, городской голова бросил туда несколько золотых и серебряных монет "на счастье". После этого на месте закладки был поставлен выкрашенный голубой краской крест. Новому зданию предстояло положить начало украшению тогда малообустроенной части города.
После празднования 200-летия Санкт-Петербурга был проведён конкурс на застройку Училищного дома. В здании Комиссия по образованию планировала разместить ремесленные мастерские, однако бюджет строительства этого не позволял. Споры Комиссии и Городской Думы утверждавшей бюджет продолжались достаточно долго, пока стороны не пришли к компромиссу. Окончательные условия конкурсы были таковы: в главном здании должны разместиться двенадцать классов начального училища, мужское и женское четырехклассные училища и городская бесплатная читальня. В отдельном здании – мужское и женское ремесленные училища по 150 человек. Все училища должны были иметь отдельные входы, уборные, раздевальные. Для персонала предусматривалась подъёмная машина (то есть, лифт). На прямоугольном участке буяна нужно было разместить два двора: большой для игр и малый служебный. На главном фасаде, обращенном к домику Петра I, по условиям конкурса предписывалось установить бюст или полнофигурную статую основателя Санкт-Петербурга. По «компромиссному» решению планировалось создание крупного учебного комплекса, это должен был быть учебный комплекс и памятник одновременно.
Конкурс объявленный в 1903 году состоялся в апреле-мае 1905 года. Участвовали в нём лишь три архитектора: А. И. Дмитриев, А. Л. Лишневский и Н. А. Виташевский. В жюри вошли Г. В. Барановский, Л. Н. Бенуа и А. И. фон Гоген. В итоге, победу в конкурсе одержал Александр Иванович Дмитриев.
В первых проектах здание планировалось выложить из красного некрашеного кирпича, в тон домика Петра I и стен стоящей рядом пожарной части. Однако сотрудничество с художником и искусствоведом А. Н. Бенуа побудило архитектора воплотить здание в том виде, в котором оно и стало существовать. В 1905-1907 годах район города от Троицкой площади до Большой Невки стал перепланироваться. Участок отданный под стройку стал мешать прокладке новой магистрали - Петровского проспекта, магистрали проходившей вдоль северного фасада домика Петра I. Было снова предложено строить здание на углу Малой Дворянской и набережной Петра Великого (сейчас Петровской), но опять стоимость оказалась высока (теперь уже 500 рублей за кв. сажень). К тому же этот головной участок набережной планировали отдать под постройку нового здания Городской Думы. В результате под Училищный дом был отдан участок на берегу Большой Невки, там где дом стоит и сейчас.
Строительство здания затягивалось. Юбилей города был далеко позади, постройку Училищного дома "привязали" к другой дате - 200-летию Полтавской битвы, празднику который отмечали тогда как сейчас празднуют 9 мая. Окончательный проект дома был принят Городской Думой 10 октября 1908 года, 30 апреля рисунок фасада был утверждён Николаем II. Этот рисунок позже был подарен архитектором Дмитриевым начальнику Нахимовского училища, и сейчас он висит в кабинете начальника.
Накануне юбилея победы в Полтавской битве, 26 июня 1909 года была проведена вторая торжественная закладка здания, уже на новом месте. Кроме этого проекта город получил тогда ещё один - мост Петра Великого (Большеохтинский мост). Закладка проходила тогда уже на строительной площадке, месяц как строительство было начато. Окончено оно к осени 1910 года. В строительстве архитектору Дмитриеву помогал А. Е. Белогруд, известный по постройке "дома с башнями" на площади Льва Толстого.
В ноябре 1910 года не дожидаясь официальной церемонии открытия в здании начались занятия в 37 классах. 15 января 1912 года здесь открылись ремесленные училища. Этим училищам придавалось большое значение. Здесь обучали специалистов для нужд промышленности, обучали рисованию и черчению. К сентябрю 1911 года закончена художественная отделка парадных залов, а через пол года здание было освящено. Освящение было приурочено ко дню рождения Петра I.
На фасаде здания Училищного дома были установлены часы известной тогда фирмы "Фридрих Винтер". Именно этой фирмой были установлены часы на Адмиралтействе, на Николаевском вокзале, на башне Городской Думы. Здесь же эта работа оказалось для "Фридрих Винтер" последней в Санкт-Петербурге.
В классах Учебного дома в 1910-х годах учился А. Н. Косыгин, будущий видный политический деятель Советского Союза. Его семья жила тогда в доходных домах Колобова, которые стояли тогда на месте гостиницы "Санкт-Петербург".
В 1944 году здание было передано Нахимовскому училищу. Его воспитанники проходят практику на находящемся рядом крейсере "Аврора".