В начале XVIII века на этом участке Дворцовой набережной находилось три дома: подполковника Ягана Фридриха Кола, князя Василия Владимировича Долгорукова и придворного повара Матвея Фельтена (отец архитектора Ю. М. Фельтена). В 1712 году владение Кола перешло сподвижнику Петра I Александру Васильевичу Кикину.
В 1740-х годах дом Кикина принадлежал вдовствующей княгине Анастасии Ивановне Гессен-Гомбургской, дочери фельдмаршала И. Ю. Трубецкого от второго брака с Ириной Григорьевной Нарышкиной. С 1738 по 1745 год она была замужем вторым браком за принцем Людвигом-Вильгельмом Гессен-Гомбургским. Анастасия Ивановна скончалась 27 ноября 1755 года. По завещанию участок перешёл её сводному брату Ивану Ивановичу Бецкому. Участком Фельтена в 1740-х годах владела его вдова. В 1754 году наследники продали участок Фельтена И. И. Бецкому.
Для Бецкого на месте двух старых зданий архитектором Ж. Б. Валлен-Деламотом был построен новый дом. После постройки другого особняка (дом №2), он съехал отсюда, оставив участок в своём владении. Здесь над конюшнями и сараями был создан такой же висячий сад, как и в доме №2. После смерти Бецкого в 1795 году здание перешло к его дочери А. И. Соколовой, бывшей замужем за адмиралом де Рибасом.
В конце XVIII века на участке современного дома №10 находились ещё два отдельных здания. Домом Бецкого владел основатель Одессы адмирал Осип Михайлович де Рибас. Вторым домом, по всей видимости бывшим особняком В. В. Долгорукова, владел капитан П. П. Рогозинский.
В 1798 году император Павел I, увлечённый Анной Петровной Лопухиной, предложил её отцу перебраться со всей семьёй из Москвы в Санкт-Петербург. Лопухину был предложен выбор: при согласии - дарование титула светлейшего князя и миллионное богатство; при отказе - долгое путешествие в Восточную Сибирь. В результате семья Лопухиных переехала в столицу. Для них у де Рибаса был выкуплен дом на набережной Невы. Фаворитка Павла I вскоре вышла замуж за князя Павла Гавриловича Гагарина. Император не был против этой свадьбы, в качестве подарка он выкупил соседний дом у капитана Рогозинского.
Гагариными было решено перестроить оба дома в одно здание. Павлом I у архитектора Джакомо Кваренги был заказан проект перестройки, который был осуществлён в 1798-1800 годах. Здание было решено в два этажа с мезонином. Со стороны двора над конюшнями и сараями был устроен висячий сад. В этом новом доме и поселились Гагарины, кроме того помещения особняка сдавались в наём. Согласно историку Петрову дом Гагариной был известен в Петербурге, на него специально ездили любоваться [1, с. 140]. Довольный Павел I за эту постройку наградил архитектора крестом Святого Иоанна Иерусалимского. В атласе Н. Цылова (1849 г.) видно, что дом Гагариных на набережной имел двойной адрес, в то время - дом №13-14.
При Павле I воспитанникам кадетского корпуса предписывалось отворачиваться от окон этого дома, когда они проходили по набережной. После смерти императора Гагарин заставил свою жену переписать на него всё её состояние, а вскоре, в 1805 году, он овдовел. Великий князь Михаил Николаевич писал, что П. Г. Гагарин после смерти жены заперся:
Князь занимал в особняке второй этаж. С января 1806 по 1807 год в доме Гагариных останавливался П. И. Багратион [2, с. 124]. В 1809 году в доме Гагарина произошёл пожар. В результате сгоревший мезонин был заменён галереей. В 1810-х годах здесь жила знакомая Пушкина Екатерина Петровна Лунина, сестра будущего декабриста.
Домом со стороны Миллионной улицы в начале XIX века владел надворный советник Иосиф Трепольский. К началу 1820-х годов он принадлежал генерал-лейтенанту Адаму Петровичу Ожаровскому [Там же].
В 1827-1830 годах в доме на Дворцовой набережной снимала квартиру семья А. Н. Оленина. У них часто гостил Александр Сергеевич Пушкин, поэт был увлечён Анной Алексеевной Олениной. Однако после неудачного сватовства Пушкин сюда больше не приходил.
В 1840-х годах князь Гагарин владел всеми строениями на участке современных домов №10 по Дворцовой набережной и №11 по Миллионной улице. После смерти Гагарина в 1850 году дом перешёл его дочери Наталье Павловне. Позже она вышла замуж за чиновника Министерства иностранных дел Михаила Дмитриевича Жеребцова, им стало принадлежать это здание. В 1860-1863 годах для Жеребцовых здание перестроил Л. Ф. Фонтана, к тому времени ещё мало известный архитектор. Он надстроил особняк третьим этажом, придал главному фасаду барочные черты. Анфилада парадных комнат второго этажа превратилась в роскошные квартиры. Центральная квартира №34 осталась за хозяйкой, а другие стали сдаваться в наём. Наталья Павловна прожила в доме №10 всю свою жизнь, достигнув почти ста лет. В квартире №37 жил брат супруга Жеребцовой, церемониймейстер Двора и чиновник Министерства иностранных дел. Здесь же, в квартире №5, поселился архитектор Фонтана.
После смерти Н. П. Жеребцовой участок был куплен статским советником Иваном Агаповичем Ворониным. Он являлся председателем общества "И. А. Воронин, Лютш и Чешер", почётным членом Общества взаимного кредита. Воронин жил на Выборгской набережной, от сдачи здесь в наём квартир Иван Агапович получал солидный доход. Со стороны Миллионной улицы в разное время размещались посольство США, миссия Дании, канцелярия румынского посольства, 3-е Адмиралтейское женское начальное городское училище. В конце 1860-х годов в квартире №36 жил граф Пётр Андреевич Клейнмихель. В квартире №4 - гофмаршал Двора князь Иван Михайлович Голицын с супругой Александрой Никитичной, племянницей декабриста князя С. П. Трубецкого.
Очередной ремонт здания проходил в 1909 году под руководством архитектора Р. Перкаля.
В годы Первой мировой войны со стороны Миллионной улицы размещалось благотворительное общество "Пособия бедным женщинам в Петрограде". Со стороны набережной в 1913-1917 годах находилось Императорское российское автомобильное общество. Почётным президентом этого общества был великий князь Михаил Александрович. В начале XX века среди жильцов дома был князь В. Н. Аргутинский-Долгоруков.
В 1918 году здесь проживала вдова великого князя Константина Константиновича, переехавшая сюда из Мраморного дворца с сыном и дочерью. В советское время в доме №10 жил археолог В. И. Равдоникас, главный дирижёр и художественный руководитель Малого оперного театра С. А. Самосуд.
Сейчас в доме №10 по Дворцовой набережной находится российское отделение Красного Креста. До нашего времени частично сохранилась отделка лестницы и некоторых квартир.
