С первой половины XVIII века здесь, между Садовой улицей и рекой Фонтанкой, находился загородный дом семьи Юсуповых. Сенатором Борисом Григорьевичем Юсуповым на берегу реки был построен деревянный особняк в стиле барокко.
В 1789 году из-за французской революции сын Бориса Григорьевича Николай Борисович Юсупов вернулся в Россию из Франции. С собой он привёз значительную коллекцию предметов искусства. Для размещения этого богатства Юсупов принял решение перестроить старый дом, нанял для соответствующих работ архитектора Д. Кваренги. В результате на участке дома №50 по Садовой улице (№115 по Фонтанке) к 1793 году был построен новый дворец в классическом стиле. Вместо регулярного парка, выходящего к Сенной площади, был создан пейзажный Юсуповский сад.
В 1793 году Николай Борисович женился на племяннице князя Г. А. Потёмкина-Таврического Татьяне Васильевне, они вместе переехали в только что отстроенный дворец. Здесь разместилась картинная галерея, собрание скульптуры и библиотека. В 1810 году, после того как Юсуповы разошлись, дворец был продан в казну. Об этом писалось следующим образом:
Вскоре после продажи в Юсуповском дворце разместился Институт корпуса инженеров путей сообщения. После переезда института в специальное здание (Московский пр., 9) здесь жили министры путей сообщения Российской империи. В 1862 году при учебном заведении был организован музей.
В 1902 году для музея железнодорожного транспорта по проекту П. С. Купинского здесь было построено отдельное здание. В 1910 году оно было расширено по проекту Е. Е. Баумгартена.
В советское время в помещениях Юсуповского дворца располагалась кафедра ЭВМ ЛИИЖТа.
