В первой четверти XVIII века на этом участке Дворцовой набережной находился дом капитана Ипата Муханова. В 1715 году его купил молдавский господарь Дмитрий Константинович Кантемир, вынужденный после неудачного Прутского похода переселиться на берег Невы. Старый дом был снесён, на его месте по проекту молодого Ф. Б. Растрелли построили новый дворец. Это стало первой самостоятельной работой архитектора.
О дворце сын Антиоха Кантемира писал:
По описанию 1737 года видно, что двор Кантемиров представлял из себя два отдельных трёхэтажных строения со стороны Дворцовой набережной и Миллионной улицы:
Молодой Растрелли удачно распланировал помещения дворца Кантемира. Вдоль набережной были размещены залы для приёмов, жилые покои находились с противоположной стороны. В первом этаже был устроен просторный светлый вестибюль, над которым находился парадный двусветный зал. Лепнина зала и резьба на каминах была выполнена отцом архитектора Бартоломео Карло Растрелли. Симметрично главному залу по его сторонам находились две гостиные с камином и пышным декором.
Кантемир так и не поселился во дворце, он умер в персидском походе ещё во время строительства особняка. За окончанием строительных работ следили его сыновья Константин, Матвей, Сергей и Антиох. После смерти Кантемира дворец перешёл к его вдове Наталье Ивановне. Далее зданием владели их дети, которые устроили здесь свою парадную резиденцию. Из детей князя Кантемира особо известны стали поэт и философ Антиох и фаворитка Петра I Мария. Несколько месяцев 1826 года в доме Кантемира жил поэт Василий Кириллович Тредиаковский, преподававший 18-летнему Антиоху русский язык и стихосложение.
Некоторые помещения особняка сдавались в наём. В 1727 году здесь жил граф Б. К. фон Миних. В 1755-1757 годах в особняке находилось английское посольство. При посольстве квартировался его секретарь князь Станислав Понятовский, будущий польский король.
После смерти Антиоха Кантемира в 1744 году его младшие братья Матвей и Сергей вступили с длительный судебный спор с мачехой, княгиней А. И. Трубецкой (принцессой Гессен-Гамбургской). В 1762 году дворец был продан. Его приобрела Екатерина II, которая отдала его вернувшемуся из ссылки графу Алексею Петровичу Бестужеву-Рюмину. Старый дом графа к этому времени уже был занят Сенатом, поэтому ему требовалось новое жилище. По имени нового владельца соседний Мраморный переулок некоторое время назывался Бестужевским.
Через четыре года Бестужев скончался, участок купил граф Павел Мартынович Скавронский. По данным П. М. Столпянского участок был ему подарен Екатериной II [3, с. 111]. Граф был внуком Карла Скавронского, который являлся родным братом Екатерине I. Он слыл страстным меломаном, общался с прислугой только речитативом и этого же требовал от них. В одном из больших залов была оборудована сцена, где ставились оперы, спектакли, концерты. В 1777 году хозяйкой дворца Кантемира стала супруга графа Екатерина Васильевна Скавронская (в девичестве Энгельгардт), племянница князя Г. А. Потёмкина.
После смерти Скавронского Екатерина Васильевна вторично вышла замуж за графа Юлия Помпеевича Литта, с которым она познакомилась в 1788 году в Неаполе. Граф с 1795 года был представителем Мальтийского ордена в России, для брака ему потребовалось просить разрешения на снятия обета безбрачия у римского папы. Свадьба состоялась 31 октября 1798 года. Брак оказался счастливым. Литта стал обладателем огромного состояния супруги, принял русское подданство и был назначен шефом кавалергардов.
Для новобрачных архитектором Луиджи Руска в стиле классицизм был перестроен корпус со стороны Миллионной улицы (дом №7). После смерти графини Ю. П. Литта продал особняк министерству финансов, поселившись в его части по Миллионной улице. После кончины графа особняк полностью перешёл министерству финансов. Здесь находились канцелярия и типография министерства, квартира министра. В это время, в 1840-1850-е годы, министрами финансов были Егор Францевич Канкрин и Ф. П. Вронченко.
В 1868 году дом из казны выкупил купец Николай Дмитриевич Лоховицкий. Для него он был перестроен архитектором Л. Ф. Фонтана, который изменил некоторые интерьеры, укрепил перекрытия, возвёл дворовые корпуса, переделал фасад со стороны миллионной улицы. Сам Лоховицкий жил на Галерной улице. Здесь обитал его брат, надворный советник, сотрудник военного министерства. Самым знаменитым жильцом в то время был генерал-фельдмаршал, военный министр Дмитрий Алексеевич Милютин.
Следующим владельцем участка в 1875 году стал лесоторговец и меценат Илья Федулович Громов. Для него в 1879 году комплекс из трёх отдельных жилых домов перестраивался в один большой особняк по проекту К. К. Рахау. Именно тогда здание приобрело существующий облик. На углу Миллионной улицы и Мраморного переулка фасад украсила группа из трёх женских фигур, символизирующих плодородие, искусство и мореплавание. Отделка помещения была выполнена в самых разных стилях: готика, рококо, стиль Людовика XVI. Часть интерьеров сохранилась до сих пор.
После смерти Громова в сентябре 1882 года владельцем особняка стал бывший управляющий делами семьи Громовых тайный советник Владимир Александрович Ратьков-Рожнов. Особняк со стороны Дворцовой набережной он сдавал в наём, а затем продал министерству финансов. Самый нарядный зал второго этажа служил парадным кабинетом министра, в котором он принимал гостей. В других помещениях располагались общая канцелярия министерства, особая канцелярия по кредитной части. В бельэтаже находились жилые апартаменты министра.
Облик дома на начало XX века можно воссоздать благодаря сохранившейся описи 1902 года. В первом от входа помещении находилась мебель ясеневого дерева английской работы, ковёр, золочёные бра на стенах и зеркало. Окно закрывала большая белая штора. Парадная лестница вела в апартаменты второго этажа.
Кабинет министра был обставлен мебелью из красного дерева, покрытой зелёным сафьяном. Освещение производилось большими лампами на матовых подножках, выполненными в виде мифологических фигур, золочёными бра, жирандолями и большими золочёными корсельскими люстрами. Особую ценность представляли английские часы под колпаком на треугольном бронзовом пьедестале с женскими фигурами, купидонами и лебедями. На столах стояли курильницы на бронзовых позолоченных пьедесталах.
Малую полуциркульную гостиную украшали алебастровые колонны, камин с зеркалом в позолоченной раме, фарфоровая с золочёной бронзой корсельская лампа, большая бронзовая люстра на цепях, фарфоровые вазы, бронзовые часы с музыкой и бронзовыми фигурами. Вдоль стен стояли диваны из орехового дерева.
Угловая гостиная была обставлена мебелью орехового дерева: двухместным, трёхместным и угловым диванами, большими диванами у стен, трюмо. Здесь находились ваза из чёрной бронзы с позолоченными украшениями, курильницы в виде вызолоченных бронзовых ваз в решетчатыми крылышками, лебедями и женскими фигурами вместо ручек.
Подобная роскошная обстановка была и в других комнатах. В одном из шкафов хранилась коллекция из 47 фигурок из слоновой кости ("Распятие", "Божья матерь", "Адам и Ева", "Венера и Купидон", бюст Фридриха [2, с. 148, 149].
В корпусах по Мраморному переулку и Миллионной улице семья Ратькова-Рожнова жила вплоть до 1917 года. Владимир Александрович с 1876 года был гласным Петербургской городской думы, занимал должности члена и председателя разных комиссий. В 1893 году его утвердили в должности городской головы, им Ратьков-Ражнов оставался более четырёх лет. В это время в Петербурге ему принадлежало до 15 домов, он имел золотоносные прииски в Сибири и на Урале. После смерти Владимира Александровича домом владел его сын Ананий. Семье Ратьковых-Ражновых в начале XX века принадлежал также соседний дом №9 по Миллионной улице.
Со стороны Дворцовой набережной перед Первой мировой войной размещалось посольство Турции.
С конца 1930-х и до 1947 года в квартире №9 жил поэт Александр Андреевич Прокофьев.
В настоящее время в особняке размещается Учебный корпус №2 Санкт-Петербургского Государственного Университета Культуры и Искусств.
