В начале XVIII века в северной части Царицына луга (ныне Марсова поля), где стоит дом №2 по Дворцовой набережной, находилась еловая роща. В 1719-1721 годах архитектором Доменико Трезини здесь была построена галерея для отдыха царя. Петр I, будучи в Петербурге, бывал в галерее ежедневно с 11 до 12 часов дня. В это время любой желающий мог подать царю прошение. После 12 часов Пётр обедал, приём посетителей, помимо особо важных дел, не производился. Иногда в галерее устраивались праздники [2, с. 18].
Согласно атласу Мейера в 1725 году здесь располагался бассейн, а в 1731 году - караульня. В 1750 году архитектор Ф. Б. Растрелли построил на этом участке деревянное двухэтажное здание Оперного дома. Это заведение славилось своей декоративной отделкой. Растрелли создал в нём два яруса театральных лож, императорскую ложу с тремя отделанными золотом креслами. Зрительный зал был оборудован деревянными стульями и скамейками. Оперный дом называли ещё и "Большим театром", который считали придворным. Знатная публика посещала театр бесплатно. Здесь выступали французские и итальянские оперные балетные труппы.
В 1755 году в Оперном доме была дана первая русская опера "Цефал и Прокрис", сочинённая А. П. Сумароковым. В 1757 году здание взяла в аренду итальянская труппа, сделавшая вход платным. Многие места после этого стали приобретаться абонементом на весь сезон. Входная плата была достаточно высока. В 1759 году билет стоит 1 рубль. В последние годы царствования Елизаветы Петровны билеты раздавались в первую очередь придворным. Оперный дом перестал работать в 1763 году, после чего итальянцы уехали на родину [3, с. 250].
До 1770 года Оперный дом пустовал. Позже в течение двух лет его занимали офицеры и служители придворного ведомства. В 1772 году Оперный дом снесли [Там же].
На месте оперного дома в 1784-1787 годах по приказу Екатерины II был построен особняк для Ивана Ивановича Бецкого, который поселился здесь только через два года. Автор проекта этого здания неизвестен. Историками высказываются предположения, что архитектором здесь могли быть Ж. Б. Валлен-Деламот или И. Е. Старов. Второй из них был главным архитектором Конторы строений домов и садов её величества, возглавляемой Бецким.
Некоторые исследователи истории Петербурга утверждают, что первоначально на этом участке было сразу два дома. Со стороны Дворцовой набережной здание ещё в 1774-1775 годах строил Ж. Б. Валлен-Деламот, в нём жили дочь и зять И. И. Бецкого. Со стороны Миллионной улицы здание строил в 1784-1787 годах Ю. М. Фельтен, В. И. Баженов или И. Е. Старов, в нём поселился сам Бецкой [2, с. 19].
И. И. Бецкой известен благодаря своей роли в становлении образования в России. Он был директором Сухопутного шляхетного корпуса, президентом Академии художеств. Иван Иванович, равно как и его сосед Салтыков, был воспитателем великих князей Александра и Константина Павловичей.
Особняк часто называли дворцом. При скромном внутреннем убранстве внешне он выглядел гораздо богаче многих жилых домов, здание включало в себя висячий сад. Дом состоял из трёхэтажного корпуса со стороны Невы и двухэтажного со стороны Царицына луга, соединённых одноэтажным флигелем и крытой галереей со стороны Летнего сада.
Балов и маскарадов хозяин дворца не устраивал, имел здесь значительную коллекцию произведений искусства. В гостях у Бецкого бывали французский философ Дидро, польский король Станислав-Август. Иногда здесь устраивались вечера для воспитанников учебных заведений, подведомственных Бецкому.
В возрасте 75 лет Бецкой удочерил выпускницу Смольного института Глафиру Ивановну Алымову и поселил её в своём доме. Он испытывал к ней отнюдь не отцовские чувства, чего не скрывала сама Алымова. Когда она вышла замуж за сенатора и камергера Алексея Андреевича Ржевского, Бецкой поселил здесь и мужа своей приёмной дочери. Позже Ржевский построил свой дом на Фонтанке и переехал туда с супругой.
В июне 1787 года дом Бецкого посетил участник войны за независимость британских колоний Франсиско де Миранда, впоследствии ставший одним из создателей Венесуэльской республики.
Особняк был так велик, что некоторые его помещения сдавались в наём. В 1791-1796 годах в доме Бецкого жил И. А. Крылов. Писатель открыл здесь свою типографию, где печатал журналы "Зритель" и "Санкт-Петербургский Меркурий". Кроме них за шесть лет существования типографии из неё вышли 21 книга и множество мелкой печатной продукции (афиши, объявления). В марте 1792 года в "Санкт-Петербургских ведомостях" было помещено следующее объявление:
Иван Андреевич Крылов был здесь замечен не только за работой над журналом. По утрам он любил ходить по своей комнате играя на скрипке совершенно голым. Окна его комнаты выходили на Летний сад. Звуки музыки привлекали прогуливающихся по саду дам, которые увидев в окне обнажённого мужчину не редко возмущались. Дошло до вмешательства полиции, которая предписала баснописцу "спускать шторы, в то время как он играет, а то по саду (в этой части) гулять нельзя".
Историк Г. Зуев в книге "Течёт река Мойка" даёт крайне противоречивые сведения о пребывании типографии Крылова в доме И. И. Бецкого. На одной из страниц он пишет, что типография работала здесь с 1791 по 1796 год [3, с. 263]. Его поддерживает краевед В. С. Измозик, указывающий теже самые годы в книге "Пешком по Миллионной" [2, c. 22]. Краевед Т. А. Соколова не соглашается с первыми двумя, называя в своей работе "Дворцовая набережная" другие сроки пребывания в доме Бецкого И. А. Крылова - 1791-1793 годы [1, с. 158]. Запутывает ситуацию то, что Г. Зуев уже на следующей странице даёт информацию о том, что уже в мае 1792 года в дом Бецкого пришла полиция, произведшая обыск. По её результатам Екатерина II отобрала у Крылова типографское оборудование, журналисту пришлось уехать из Петербурга. В столицу он вернулся лишь в 1803 году, то есть продолжать здесь работу до 1796 никак не мог [3, с. 264].
После смерти Бецкого в 1795 году дом перешёл его дочери Анастасии Ивановне Соколовой, бывшей замужем за строителем Одессы адмиралом О. М. де Рибасом [2, с. 22]. Де Рибас мог здесь жить только до 2 декабря 1800 года, до даты своей смерти.
В 1822 году скончалась Анастасия Соколова. Домом со стороны Невы стала владеть её дочь Екатерина, внучка Ивана Ивановича. Она была замужем за офицером Иваном Саввичем Горголи, спустя три года ставшим сенатором. Дом со стороны Миллионной улицы принадлежал другой внучке Бецкого - Софии, супруге князя М. М. Долгорукова.
В 1830 году Николаем I в Россию был вызван его племянник принц Пётр Георгиевич Ольденбургский. Он начал службу в Преображенском полку. По этому случаю дом И. И. Бецкого был выкуплен в казну и подарен Петру Георгиевичу. Для принца в 1830-х годах архитектор В. П. Стасов объединил два самостоятельных здания в одно. Висячие сады были убраны, на их месте со стороны Лебяжьей канавки и Марсова поля надстроен новый этаж, где разместили танцевальный зал. Также Стасовым здесь была создана протестантская часовня во имя Христа Спасителя (Стасов и хозяин дома были протестантами).
Очередная реконструкция особняка осуществлялась в 1850-х годах. В результате его высота стала одинаковой со всех сторон. Аттик южного фасада украсила созданная М. И. Козловским скульптура. Принц вёл учёт переделкам во дворце, его записи сохранились в Публичной библиотеке:
Пётр Георгиевич Ольденбургский, как и Бецкой, прославился на поприще образования. В 1834 году он оставил военную службу и занялся общественными проектами. В первую очередь принц купил находящийся неподалёку дом на Фонтанке для основанного им же Училища правоведения. Пётр Георгиевич был его пожизненным попечителем. В качестве профессионального правоведа принц принимал участие в крестьянской и судебной реформах 1860-х годов. Он возглавлял управление петербургской Мариинской больницы для бедных, способствовал созданию Комитета по управлению женскими учебными заведениями. На свои средства П. Г. Ольденбургский создал женскую гимназию, открыл несколько народных училищ. С 1844 по 1881 год принц заведовал Императорским лицеем, переехавшим из Царского Села на Каменноостровский проспект.
Дом Ольденбургских был известен своими музыкальными вечерами. После военных парадов на Марсовом поле здесь принимали сослуживцев Петра Георгиевича по Гвардейскому корпусу и других офицеров.
В 1830-х годах в доме принца Ольденбургского снимал квартиру граф Николай Николаевич Новосильев, являющийся незаконным сыном графа А. С. Строганова. Здесь он провёл последние годы своей жизни, завершившейся в 1838 году.
После смерти Петра Георгиевича 28 апреля 1881 года особняк перешёл во владение его сына Александра. После его женитьбы на принцессе Е. М. Лейхтенбергской на третьем этаже по проекту Г. Х. Штегемана была создана православная церковь во имя Пресвятой Богородицы. В доме Александра Петровича Ольденбургского часто организовывали пышные приёмы. Он продолжал дело отца, занимался благотворительностью. Им был основан Институт экспериментальной медицины, больница для душевнобольных на станции Удельная, Народный дом императора Николая II.
Личная жизнь Ольденбургских была омрачена проблемами сына Павла. Он слыл страстным игроком в карты. В обществе тактично говорили, что он "не интересовался дамами". В 1901 году Петра женили на сестре Николая II Ольге, они поселились в особняке на Сергиевской улице (ныне это дом №46-48 по улице Чайковского). Брачную ночь жених провёл за игрой в карты.
В сентябре 1917 года Александр Петрович Ольденбургский продал дом за 1 500 000 рублей временному правительству, которое в свою очередь отдало его Министерству просвещения. Хранящееся здесь собрание произведений искусств было передано Эрмитажу. После октября 1917 года здесь устроили коммунальные квартиры. В 1921 году в доме Ольденбургских был открыт Центральный педагогический музей, работал кружок им. М. Е. Салтыкова-Щедрина.
С 1962 года дом Бецкого принадлежал Ленинградскому Библиотечному институту. В настоящее время здание принадлежит Санкт-Петербургскому Государственному Университету Культуры и Искусств. Оно соединено с соседним домом Салтыковых, также принадлежащим университету, внутренними переходами.
В память об Ольденбургских и их благотворительной деятельности 20 июля 2000 года на фасаде дома со стороны Дворцовой набережной была установлена мемориальная доска.
