Участок дома №3 по Литейному проспекту между улицами Шпалерной и Чайковского с середины XVIII века принадлежал Пушечному двору. Этот двор был при дворе Литейном, находившемся в створе Литейного проспекта с 1711 года.
В 1808 году здесь по проекту Фёдора Ивановича Демерцова было построено здание Нового Арсенала. Со стороны Литейного проспекта оно имело восьмиколонный портик, на углах имело павильоны в виде триумфальных арок. К 1836 году здесь работало до тысячи человек, находившихся при предприятии на казарменном положении.
В 1830-1840-х годах в комплексе зданий Арсенала находилась Арсенальная гауптвахта. С 17 по 22 марта 1840 года в ней содержался Михаил Юрьевич Лермонтов, проходил он по делу о дуэли с сыном французского посла Э. де Барантом. В апреле 1848 года на гауптвахте содержался молодой писатель М. Е. Салтыков (Салтыков-Щедрин), арестованный по распоряжению Николая I за повесть "Запутанное дело". Отсюда Салтыков-Щедрин отправился в ссылку в Вятку.
В 1850-1851 годах Литейный двор вместе с Арсеналом перевели в новые корпуса на Выборгской стороне. Литейный двор был полностью разобран, Литейный проспект продлили до Невы. В 1861 году было предложено на месте здания Арсенала строить жилые дома, через его территорию проложить ещё одну улицу между улицами Сергиевской и Шпалерной. Однако этот план не был осуществлён, часть производства осталось в здании Арсенала.
В 1866 году здесь начал свою работу Орудийный завод для производства пушек. В 1864-1870 годах здание было перестроено для нужд завода по проекту Р. Р. Генрихсена и Г. Б. Пранга. При перестройке была уничтожена колоннада и триумфальные арки, упрощено скульптурное оформление.
В 1880-х годах здание перестраивалось по проекту В. В. Сарандинаки. В 1910-х годах часть здания по Сергиевской улице перестраивалась под руководством военного инженера В. Я. Симонова. На аттике здесь имеется надпись, напоминающая о предназначении сооружения.
В 1895-1900 годах на Орудийном заводе работал будущий основатель Петербургского политехнического института (сейчас университета) - князь Андрей Григорьевич Гагарин.
Рабочие завода принимали непосредственное участие в событиях февраля 1917 года. Утром 27 февраля со стороны Литейного проспекта и Кирочной улицы сюда пришли солдаты. Вместе с рабочими они подожгли здание Окружного суда и освободили заключённых из Дома предварительного заключения.
В марте 1918 года Орудийный завод был эвакуирован из Петрограда на восток страны. Обратно производство не возвратилось. В советское время здесь размещались Ленинградское артиллерийское техническое училище, Центральные артиллерийские курсы. С 2000-х годов здесь расположен Михайловский военный артиллерийский университет.
