Участок дома №21 по Миллионной улице в начале XVIII века принадлежал гоф-интенданту Петра I Петру Ивановичу Мошкову. Название проходящего рядом переулка связанно именно с его фамилией. Дом Мошкова стоял на берегу Невы. Тыльная сторона участка в дальнейшем имела отличную историю, от истории участка на Дворцовой набережной.
В начале XIX века территория принадлежала Ордонансгаузу (Комендантскому управлению). Позже оно переехало на угол Садовой и Инженерной улиц, где находится до сих пор. Этим же участком некоторое время владел коллежский советник Степан Козелла, а затем граф Александр Иванович Чернышёв.
Для Чернышёва в 1830-х годах находящийся здесь дом перестраивал архитектор И. И. Шарлемань 1-й. С 1832 года граф был военным министром. Будучи на этой должности он жил в доме №10 на Малой Морской улице. Дом на Миллионной он оставил дочери Елизавете, которая в 1840 году вышла замуж за генерал-адъютанта, князя Владимира Ивановича Барятинского. У этой семьи были дочери Мария и Елизавета, сын Александр. Елизавета Владимировна позже стала графиней Шуваловой. Александр Барятинский женился на дочери Александра II и Екатерины Долгоруковой.
Очередная реконструкция особняка прошла в 1881-1882 годах. В 1900-1903 годах архитектор Е. С. Воротилов работал над дворовыми корпусами. В 1912 году они были надстроены четвёртым этажом.
В начале XX века дом №21 принадлежал князю Ивану Викторовичу Барятинскому, племяннику Владимира Ивановича. Он был депутатом III Государственной думы от партии "правых националистов". Его супруга Мария Владимировна приходилась ему же двоюродной племянницей, которая была на 20 лет моложе. После смерти мужа в 1915 году дом достался ей.
В 1917 году со стороны Мошкова переулка в доме работало Петроградское охотничье собрание. Им заведовал живший неподалёку (Аптекарский пер. 4) Эдмунд Константинович Пилацкий, потомственный дворянин, купец 1-й гильдии.
