Первая жилая застройка на участке дома №3 по Марсову полю появилась в 1720-1730-х годах. В начале XVIII века участок принадлежал Александру Ивановичу Румянцеву, чьим сыном был будущий фельдмаршал Пётр Александрович Румянцев. В 1800 году особняк был перестроен архитектором Л. Руска для генерала Михаила Петровича Румянцева.
В первой половине XIX века в корпусе со стороны Аптекарского переулка (дом №4) жил генерал-лейтенант Карл Иванович Бистром, которого солдаты чаще называли Быстровым. В 1825 году на его квартире жили старшие адъютанты генерала князь Евгений Петрович Оболенский и Яков Иванович Ростовцев. Первый участвовал в восстании декабристов и 30 лет провёл в ссылке к Сибири. Второй вошёл историю благодаря тому, что за два дня до восстания предупредил великого князя Николая Петровича (Николая I) о предстоящих событиях.
Дом Румянцевых в очередной раз был перестроен в середине XIX века. Он стал четырёхэтажным. Тогда же обновлялись дворовые флигели и корпус со стороны Аптекарского переулка. В 1861-1862 годах здесь располагалась редакция ежемесячного общественно-политического журнала "Основа". Журнал публиковал произведения известных украинских писателей. С ним сотрудничали Т. Г. Шевченко, Марко Вовчок.
В 1860-х годах в доме №4 по Аптекарскому переулку жил Борис Карлович Данзас, брат секунданта А. С. Пушкина. Соседнюю квартиру снимал генерал-майор князь Борис Дмитриевич Голицын, будущий генерал-адъютант и начальник царской охоты при Николае II.
В доме №4 по Аптекарскому переулку жила баронесса Скалон де Колиньи - крёстная мать Густава Карловича Маннергейма, будущего маршала и президента Финляндии. Он навещал её весьма часто, приезжал сюда после торжественного выпуска 22 августа 1889 года [1, с. 94]. Спустя шесть лет он поселился по соседству, в доме №8 по Миллионной улице.
С 1890-х годов весь участок принадлежал принцу Александру Петровичу Ольденбургскому, жившему рядом, в доме №1 на Миллионной улице. Со стороны Аптекарского переулка работал трактир "Карс". В годы Петровой мировой войны здесь работала школа Императорского женского патриотического общества по обучению рукоделию. При ней готовили и учителей рукоделия.
