В первой половине XVIII века юго-западный участок Марсова поля оставался незастроенным. С начала основания Санкт-Петербурга он был частью греческой слободы.
В 1750 году здесь, на углу Мойки, был построен деревянный манеж-театр. В книге "Пешком по Миллионной" её автор В. С. Измозик утверждает, что театр был построен на месте манежа. Некоторое время он был приспособлен для проживания Э. Фальконе, с 1766 года работавшего над памятником Петру I [1, с. 68]. Он назывался Английским и театром Книпера, так как им заведовал английский антрепренёр К. Книпера. В газете "Санкт-Петербургские ведомости" 16 апреля 1775 года было дано такое объявление:
С 1779 года здесь работал Вольный Российский театр. Спустя три года в нём состоялась премьера комедии Д. И. Фонвизина "Недоросль". Здание театра перестраивалось в 1781 году.
В 1781 году участок выкупил вице-президент мануфактур-коллегий А. А. Саблуков [2, с. 285]. Спустя два года земля перешла генералу С. С. Апраксину. Здесь располагался пруд по берегу которого были высажены деревья. Участок обнесли забором, принадлежал он соседнему зданию которое до настоящего времени не сохранилось.
Здание театра простояло до 1796 года. Его разобрали всего за одну ночь по приказу Павла I, посчитавшего что он мешает прохождению войск при парадах. Память о театре сохранилась в названии находящегося рядом Театрального моста через канал Грибоедова.
После смерти Апраксина участок был продан купцу Антонову. В 1823-1827 годах для него по проекту Доменико Адамини здесь построено здание, называемое сейчас именем архитектора. Купец планировал на первом этаже разместить торговые ряды, для этого аркада первого этажа была построена открытой.
В 1820-1830-х годах здесь жил барон Павел Львович Шиллинг. Окна его кабинета, известного как "Китайская комната", выходили на реку Мойку. Известен барон Шиллинг тем, что изобрёл электромагнитный телеграф, тут же проводил его испытания. 9 октября 1832 году он провёл первую публичную демонстрацию изобретения. Она вызвала такой резонанс в обществе, что Шиллинга посетили Николай I со своим братом великим князем Михаилом Павловичем. Демонстрации телеграфа продолжались до Рождественских праздников. Павел Львович поддерживал дружеские отношения со многими известными литераторами. Его гостями не редко были В. А. Жуковский, И. А. Крылов, П. А. Вяземский и А. С. Пушкин. Барон умер в доме Адамини 25 июля 1837 года.
После смерти Антонова домом владела его вдова. По её желанию аркаду заложили. В 1886 году в связи со 100-летним юбилеем Шиллинга на фасаде дома Адамини была установлена мемориальная доска. После купчихи Антоновой здание переходило от владельца к владельцу. В разное время домом Адамини владели генеральша Офросимова, вдова действительного статского советника А. П. Гаярина, граф Гудович, Департамент уделов и "Петербургское общество дешёвых помещений".
В 1880-х годах в доме Адамини снимала квартиру актриса М. Г. Савина, игравшая с 1874 года в Александринском театре. У неё в гостях бывал писатель И. А. Гончаров. Он жил на Моховой улице (в доме №3) и приходил сюда пешком.
В 1914 году в квартире №6 начало работу Художественное бюро Н. Е. Добычиной. Посетителей бюро привлекала яркая вывеска, которую выло видно с Невского проспекта. Её нарисовала А. П. Остроумова-Лебедева. У Добычиной проходили регулярные картинные выставки, в том числе групп "Бубновый валет", "Мир искусства". В конце 1915 года открылась "Последняя футуристическая выставка картин 0,10 (ноль-десять)". В залах художественного салона впервые можно было увидеть портреты В. Э. Мейерхольда, А. А. Ахматовой, А. С. Лурье, картины Марка Шагала, К. С. Малевича, К. С. Петрова-Водкина, В. Ходасевич. Кроме того, администрация бюро устраивала концерты. Здесь впервые публично прозвучали произведения С. С. Прокофьева.
С июля 1916 года одну из квартир в доме Адамини снимал писатель Леонид Николаевич Андреев. Его жилище из четырёх комнат находилось в угловой части здания. Шесть длинных окон большого кабинета выходили на Марсово поле. Из них Андреев с волнением наблюдал за бунтом Павловского полка. У писателя в гостях были Ф. К. Соллогуб, Ф. И. Шаляпин и другие известные личности. Соседом Андреева был историк и теоретик искусства Аким Львович Волынский. Некоторое время в доме Адамини жили поэт-футурист В. В. Каменский, художники С. Ю. Судейкин и О. А. Глебова-Судейкина, мать и брат режиссёра Н. Н. Евреинова.
С 1916 года в доме Адамини располагалось кабаре "Привал комедиантов". Его создателем стал Б. К. Пронин, среди художественных руководителей был М. А. Кузмин. Кабаре было открыто 18 апреля 1916 года пьесой А. Шницлера "Шарф Коломбины". Ранее это заведение было известно как "Подвал бродячей собаки", располагалось на Итальянской улице. За помещение на Марсовом поле заплатил банкир Д. Л. Рубинштейн. Как и предшественник, оно было популярно среди знаменитостей. Гости съезжались в "Привале комедиантов" к 9 часам вечера. Вход разрешался только по рекомендации постоянных посетителей. Здесь бывали В. Э. Мейерхольд, А. А. Блок, А. А. Ахматова, В. В. Маяковский, А. В. Луначарский, М. Горький. Здесь впервые прозвучала поэма Александра Блока "Двенадцать" в исполнении Л. Д. Блок.
Потолки и стены "Подвала комедиантов" были расписаны художниками Б. Д. Григорьевым, С. Ю. Судейкиным и А. Е. Яковлевым. По эскизу И. Фомина был сооружён огромный камин. При входе стояли два араба-манекена с горящими сигарами во рту. Справа от входа находился зрительный зал, слева - таверна, уголок "чревоугодников, голодных и озябших". В нише стены таверны стояли куклы Коломбина, Пьеро и Арлекин.
Последний вечер в кабаре был проведён с программой "Сказки Андерсена" 26 апреля 1919 года. После этого подвал был заброшен. В январе следующего года кинорежиссёр Г. М. Козинцев заглянул в этот подвал:
В 1921-1922 годах в квартире своей подруги актрисы Ольги Глебовой-Судейкиной жила поэтесса А. А. Ахматова. В конце 1920-х годов в доме Адамини жил композитор И. О. Дунаевский.
26 ноября 1941 года в 13:30 во время одной из первых бомбардировок здание сильно пострадало от прямого попадания двух авиабомб. Одна из них полностью разрушила среднюю часть корпуса со стороны Мойки. Вторая пробила крышу корпуса со стороны Марсова поля, но разрушила только его внутреннюю часть. В 1946 году дом Адамини был восстановлен по проекту архитектора А. С. Гинцберга. При этом была несколько изменена внутренняя планировка здания. После окончания Великой Отечественной войны до 1956 года здесь жил главный архитектор Ленинграда Н. В. Баранов, архитектор И. И. Фомин. С ним соседствовали архитекторы А. И. Наумов и И. И. Фомин.
В 1948-1967 годах в доме Адамини жил писатель Юрий Павлович Герман. В 1968 году на фасаде здания была укреплена посвящённая этому факту памятная доска. Здесь же до конца 1990-х годов жил его сын кинорежиссёр А. Ю. Герман.
В 1952-1964 годах часть квартиры №6 снимал математик, ректор Ленинградского государственного университета А. Д. Александров.
На фасаде дома Адамини установлены пять мемориальных досок. Они посвящены жившим в нём писательнице В. Ф. Пановой, писателю Ю. П. Герману, главному архитектору Ленинграда Н. В. Баранову, П. Л. Шиллингу и писателю Л. Н. Рахманову.
В доме Адамини съёмочная группа режиссёра Алексея Балабанова сняла одну из сцен фильма "Брат". Здесь произошла встреча героев Сергея Бодрова и Виктора Сухорукова.