Участок дома №8 на Адмиралтейской набережной до 1870-х годов являлся частью Адмиралтейской верфи. После вывода отсюда промышленного производства освободившаяся территория была поделена на части и продана частным владельцам.
26 апреля 1884 года участок дома №8 у барона Г. Е. Гинзбурга приобрёл великий князь Михаил Михайлович - внук Николая I, сын великого князя Михаила Николаевича, в семье часто называемый попросту "Миш-Миш". От этой покупки великого князя отговаривал сенатор А. А. Половцов, доказывая, что он запутается "в своих счетах и будет в финансовых затруднениях" [Цит. по: 1, с. 123]. Но достигнув 20 лет и получив право распоряжаться своими средствами Михаил Михайлович решил построить собственный дом не смотря ни на что. "У нас должен быть отличный дом" - сказал он архитектору. При этом под словом "нас" Михаил имел ввиду себя и ещё не выбранную им супругу.
Архитектором Мало-Михайловского дворца стал Максимилиан Егорович Месмахер. Возведение великокняжеской резиденции было завершено в 1888 году, после чего началась отделка помещений.
Фасад Мало-Михайловского дворца выполнен в духе любимого Месмахером итальянского ренессанса. Он облицован блоками из висбаденского песчаника. Высокий цокольный первый этаж отделан финляндским гранитом.
Мало-Михайловский дворец был оборудован по последнему слову техники. Здесь имелись газ, электричество, телефон, водопровод и канализация. Тротуар перед зданием был заасфальтирован.
Кроме самого дворца Месмахером на другой стороне Черноморского переулка был построен служебный корпус.
М. Е. Месмахер работал над внутренним убранством дворца до 1891 года, когда в России узнали о самовольной женитьбе Михаила Михайловича. К этому времени он уехал из страны, женился на внучке великого русского поэта А. С. Пушкина графине Софье Николаевне Меренберг. После этого он потерял регулярные денежные субсидии из Департамента уделов и не мог платить за строительстве дворца. Да и в Россию вернуться он уже не мог. В своём петербургском доме Михаилу Михайловичу жить не пришлось.
Мало-Михайловский дворец состоял из двух половин - хозяина и хозяйки. Каждая половина имела свой вход со стороны Азовского переулка. Со стороны Адмиралтейской набережной в Мало-Михайловском дворце были созданы Вестибюль и Парадная лестница. Позже Вестибюль был расширен за счёт соседней Большой приёмной. Слева от Вестибюля располагались Большая и Малая Приёмные. В северо-восточном углу здания был оборудован Кабинет.
Кабинет разделён на две части деревянной перегородкой. В одной из этих частей великий князь должен был принимать гостей, в другой отдыхать. Кабинет украшен камином из песчаника. Изразцы для него изготовили студенты Центрального училища технического рисования барона Штиглица, где преподавал Месмахер. Шатровую часть камина завершал герб великого князя, уничтоженный после 1917 года. От него остались щит со львиными головами, орден Андрея Первозванного и обрамление щита. В настоящее время герб воссоздан из гипса. В рабочую часть кабинета вели три двери: из большой и малой приёмных и из собственной лестницы. Позднее большая приёмная стала частью вестибюля и дверь в неё была заделана. Над входом в личную часть Кабинета находится копия картины Тициана "Любовь земная и небесная".
Ведущая на половину хозяина дворца лестница называлась Собственной. Через неё можно было попасть в Библиотеку, далее на половину хозяйки и в личные комнаты хозяина: Гардеробную, Ванную и Спальню.
На втором этаже Мало-Михайловского дворца находились Малая столовая, Сервировочная. Стены Малой столовой на две трети закрывают резные дубовые панели со встроенными буфетами и шкафами. Так же как в Кабинете, большая шатровая печь выложена изразцами.
За работу над Мало-Михайловским дворцом архитектор М. Е. Месмахер был награждён орденом Анны 2-й степени.
Приставка "Мало" была присвоена этому зданию чтобы отличать его от других Михайловского и Ново-Михайловского дворцов.
Живя за пределами страны великий князь решил продать Мало-Михайловский дворец. Покупателя долго не находилось, поэтому помещения сдавались в наём. В 1893 году здание сдаётся на 10 лет в аренду Управлению юго-западных железных дорог. В 1904 году по просьбе великого князя Александра Михайловича Мало-Михайловский дворец был передан Главному управлению торгового мореплавания и портов. После ликвидации этого учреждения в здании до сентября 1910 года работало Министерство промышленности и торговли. Особняк хотело приобрести Германское посольство, но из-за близости к морскому ведомству немцам было отказано.
В марте 1911 года Мало-Михайловский дворец приобрело страховое акционерное общество "Русский Ллойд". Большинство его акций принадлежало купеческой семье Елисеевых. Председателем общества в то время был Степан Петрович Елисеев. По проекту П. К. Бергштрессера для новых владельцев помещения были в значительной степени перестроены. В доме №8 по Адмиралтейской набережной разместилась Главная контора общества. В пристройках имелись квартиры для высших чиновников.
В феврале 1918 года Мало-Михайловский дворец передали в ведение комиссариата городского хозяйства. В 1919-1920 годах здесь работала Единая Петроградская потребительская коммуна (Петрокоммуна) во главе с А. Е. Бадаевым. Позже во дворце размещались Городской отдел торговли и Ленинградский областной совет потребительских обществ, Госбанк, Главное управление торговли Ленгорисполкома.
В начале 1992 года Мало-Михайловский дворец арендовал банк "Санкт-Петербург". Многие помещения были отреставрированы. В 1998 году из-за резкого повышения арендной платы банк переехал. Мало-Михайловский дворец долгое время искал нового арендатора. В начале 2010-х годов велись споры между его потенциальными собственниками. Из-за нерешённого вопроса о собственности дворец до сих пор закрыт для широкой публики.
