В середине XIX века участок между рекой Мойкой, Английским проспектом и современной улицей Писарева принадлежал нескольким владельцам. До 1840-х годов он оставался не застроенным. В 1846-1848 годах Д. Е. Ефимовым на этом участке был построен дом церемониймейстера Сабурова. В 1849 году его расширили по проекту Г. А. Боссе. Рядом с домом Сабурова находился дом генерал-майора Альбрехта. В середине 1870-х годов большей частью этой территории владел потомственный почётный гражданин Малкиелия.
В 1882 году участок приобрело Дворцовое ведомство для строительства здесь дворца великого князя Алексея Александровича - сына императора Александра II. Великий князь в 1881 году был назначен главным начальником флота и морского ведомства, поэтому расположение его резиденции было выбрано в традиционно морской части Санкт-Петербурга.
В 1883 году архитектором М. Е. Месмахером было начато проектирование дворца. Строительство началось в 1885 году. В единый комплекс зданий вошёл не только дворец великого князя Алексея Александровича, но и 4-этажный жилой корпус, одноэтажные экипажный и конюшенный корпуса, прачечный корпус, оранжереи и сад. Парадный двор со стороны Мойки от набережной был отделён кованой оградой с золочёными вензелями. Одновременно со строительством дворца была проложена новая улица - Алексеевская (с 1923 года улица Писарева).
Месмахер максимально возможно использовал уже существующие на участке строения, таким образом значительно сэкономив время и средства. Внешний облик великокняжеской резиденции был согласован с пожеланием заказчика жить в особняке, напоминающем романтические замки средневековой Франции.
Со стороны набережной во дворец великого князя Алексея Александровича можно было попасть через Главный (Парадный) подъезд в центре или Собственный в восточной флигеле. За Вестибюлем и Приёмной находились Танцевальный (Белый) зал в стиле рококо, Красная (Розовая) гостиная в стиле Людовика XV, Большая (парадная) столовая, Сервизная, Буфетная и подсобные помещения. Справа от вестибюля располагался кабинет в стиле ренессанс с элементами барокко. Слева от Вестибюля - Знаменная и Библиотека. Кабинет и Библиотека соединялись с восточным флигелем, где были ещё три парадных помещения и Собственная половина с личными покоями владельца дворца.
В Собственную половину можно было попасть через Собственный подъезд. Из Вестибюля Собственного подъезда мраморная лестница вела в Английскую, Китайскую и Фламандскую гостиные. Английская гостиная - самое большое помещение дворца. Помимо Китайской гостиной во дворце великого князя Алексея Александровича было ещё два помещения в восточном стиле - Сераль и Комната для рыбок. В Собственной половине также находились Большая спальня, Шкафная, Ванная и другие помещения.
Восточный флигель дворца великого князя Алексея Александровича увенчан Большой башней с винтовой лестницей в 120 ступеней. На втором этаже главного корпуса располагались Большая библиотека, Оружейная и Комната дежурного офицера. В подвальных помещениях: Нижняя столовая, Кухня, Ледник и Винный погреб. Кроме богатой коллекции вин здесь хранилось около 40 сортов водки.
В июне 1905 года Алексей Александрович был уволен с должности главного начальника флота и морского ведомства. Вскоре он уехал в Париж, где умер 1 ноября 1908 года.
Дворец великого князя Алексея Александровича был унаследован его братьями Владимиром и Павлом Александровичами, а также племянником великим князем Михаилом Александровичем. Наследники продали часть имущества, в том числе более 500 полотен и предметов прикладного искусства. Часть сада с оранжереями купила кондитерская фабрика Жорж Борман, другую часть сада приобрёл один из директоров русско-американской резиновой мануфактуры фон дер Пальс. В 1911 году дворец был сдан в аренду германскому посольству на 18 месяцев. В 1819 году его с остатками сада за 2 500 000 рублей приобрёл некто К. К. Решко.
После 1917 года дворец великого князя Алексея Александровича заняли различные организации. Во время ленинградской блокады здесь размещался склад. В 1960-е годы - трест Ленинградстрой, районный Дом пионеров, автошкола.
В октябре 2005 года находящийся в плачевном состоянии Алексеевский дворец был передан Дому Музыки. После завершающейся в 2009 году реставрации здесь разместится Дом музыки.
