В 1740-х годах на этом участке по Миллионной улице находился дом начальника придворной конторы при императрице Елизавете Петровне Дмитрия Андреевича Шепелева. В 1760-х годах здесь разместили Пажеский корпус, одним из выпускников которого являлся А. Н. Радищев.
По сведениям краеведа В. М. Бузинова с 1760-х годов и до 1810 года в Шепелевском доме размещался Пажеский корпус. Историк В. С. Измозик приводит другие данные - Пажеский корпус находился в доме №20 по Миллионной улице.
В конце XVIII века дом Шепелевых был реконструирован по проекту И. Е. Старова. Здание было надстроено, помещения перепланированы. Шепелевский дом был включён в комплекс зданий Эрмитажа. В 1777 году здесь поселился Г. А. Потёмкин, который в то время был вице-президентом Военной коллегии, фаворитом Екатерины II.
По желанию Екатерины II архитектор Джакомо Кваренги в 1783-1792 годах построил вдоль Зимней канавки галерею "Лоджии Рафаэля". Они вошли в состав бывшего дома Шепелева.
Очередная реконструкция здания прошла в 1825 году. Спустя два года сюда переселился Василий Андреевич Жуковский, один из воспитателей наследника престола (будущего Александра II). По субботам здесь были Пушкин, Гоголь, Глинка, Вильегорский, Вяземский, Кольцов, Крылов, Одоевский, Плетнёв и другие деятели культуры. У Жуковского Гоголь читал пьесу "Женитьба", повесть "Нос", а 26 января 1836 года - "Ревизора". 17 декабря 1837 года сюда приходил А. И. Герцен. Василий Андреевич жил здесь до 1839 года. После окончаний курса воспитания Жуковский уехал из России.
В 1839-1852 годах на месте дома Шепелева по проекту Лео фон Кленце было построено первое в России специальное здание для художественного музея - Новый Эрмитаж.
