В начале XVIII века на этом участке Английской набережной стояли два дома. Одним из них владел генерал-майор Александр Васильевич Урусов. Другим - князь Александр Борисович Куракин. К середине XVIII века оба дома принадлежали князю. Для него по проекту архитектора Михаила Алексеевича Башмакова старые здания были перестроены в один большой дворец в стиле барокко.
После смерти Александра Борисовича дом перешёл его сыну Борису Александровичу. В 1764 году, после кончины Бориса Александровича, здание перешло в казну. Здесь разместили Коллегию иностранных дел, ранее располагавшуюся на 13-й линии Васильевского острова. Перепланировку помещений для государственного учреждения и ремонт здания осуществлял архитектор Александр Францевич Вист.
После приезда в Петербург зодчего Джакомо Кваренги ему было поручено создание проекта полной перестройки дома. Таковой был предоставлен архитектором на высочайшее рассмотрение весной 1782 года. Екатерина II в целом приняла проект, сделав лишь несколько замечаний.
13 июня 1817 года сюда, в Коллегию иностранных дел, прибыл на службу восемнадцатилетний Александр Сергеевич Пушкин. Вместе с ним здесь же начали свою карьеру его сокурсники В. К. Кюхельбекер, А. М. Горчаков, Н. А. Корсаков. В этом же году сюда поступил Александр Сергеевич Грибоедов. К моменту прибытия в Коллегию Пушкина ей руководили два статс-секретаря: Карл Васильевич Нессельроде и Иван Антонович Каподистрия. Весной 1822 года сюда на службу поступил Фёдор Иванович Тютчев.
В главном корпусе здания располагались "присутствие" и канцелярия. Дворовые флигеля были заняты служебными квартирами.
В 1828 году Коллегия иностранных дел была переведена в новое здание на Дворцовой площади (здание Главного штаба). Помещения на Английской набережной заняли члены Генерального штаба.
В 1832 году дом был передан только что созданной Императорской военной академии. Занятия проходили в девяти комнатах второго этажа. Окнами во двор выходили аудитория младших классов, дежурная комната и помещение для хранения учебных пособий. Окнами на Неву выходили шесть комнат. Здесь же Академия располагала конференц-залом, библиотекой. Все помещения были обставлены мебелью из красного дерева и карельской берёзы работы мастера А. Тура.
Число обучающихся в Академии постоянно росло. В конце 1854 года был утверждён новый проект перестройки здания, составленный архитектором Иваном Денисовичем Черником. В 1855 году начались строительные работы, в результате которых главный корпус был освобождён от служебных квартир. Они были переделаны в аудитории и читальные залы. На месте приёмной был оборудован просторный вестибюль с лестницей. Заново были отделаны ряд других помещений, которые стали более просторными, приобрели нарядный вид. Здание было оборудовано воздушным отоплением.
В 1903 году Академия переехала в новое здание, построенное для неё на Преображенском плацу (Суворовский пр., 32). Здесь же разместился отдел военных сообщений Генерального штаба.
После 1917 года здание оставалось в распоряжении военного ведомства. 20 марта 1935 года оно было взято под охрану государства как архитектурный памятник.
Во время Великой Отечественной войны дом серьёзно пострадал. В него попало семь артиллерийских снарядов. Сразу же после войны начались восстановительные работы. Фасад здания был восстановлен по чертежам Кваренги.
