До пожаров 1730-х годов на участке дома №61 по Большой Морской улице располагались каменные общедоступные бани. В 1738 году было велено разобрать здесь остатки сгоревших строений. В 1745 году эту территорию, в которую первоначально входило четыре участка, отдали придворному живописцу Людвигу Каравакку. Тот отказался от участка, так как остатки бань так и не были разобраны, а своими силами осуществить разборку он не мог. В 1752 году участок предлагался генерал-майору Дивову, но и он от него отказался. Такой же исход имело предложение о приобретении этой земли Григорию Николаевичу Теплову в 1755 году. Теплов сообщил что намерен покупать уже готовый дом.
В 1756 году территория была разделена на шесть участков: три по Большой морской улице, три по Почтамтской улице. Несмотря на это, вся она была передана первому русскому академику Михаилу Васильевичу Ломоносову. Он обязывался построить каменное здание за пять лет, но уже через год переехал в новое строение вместе с семьёй. Здесь был выстроен двухэтажный дом с мезонином, шириной в пятнадцать окон, с конюшенным и кухонным флигелями, отделёнными от основного здания воротами. Со стороны Почтамтской улицы на участке было построено здание для мозаичной мастерской и каменный забор, за которым устроен фруктовый сад с прудом. В саду находилась обсерватория, откуда учёный вёл астрономические наблюдения. На берегу Мойки была сделана деревянная пристань и набережная с балюстрадой.
Ломоносов прожил на Почтамтской улице восемь лет. Здесь он написал ряд трудов по физике, астрономии и истории. В мозаичной мастерской он создал "Полтавскую баталию", находящуюся в здании Академии наук. Усадьбу Ломоносова навещали автор скульптурного портрета учёного Федот Шубин, Я. Штелин и сама Екатерина II.
Ломоносов умер 8 апреля 1765 года. Усадьба перешла к его дочери Елене, которая вскоре вышла замуж за коллежского советника Алексея Алексеевича Константинова, библиотекаря Екатерины II. Ломоносов долгое время не давал добро на этот брак. Константинов владел участком после смерти Елены Михайловны. Помещения усадьбы сдавались внаём. В 1808 году у жившего здесь начальника хлебных складов В. В. Романовского (возможно, Рубановского) бывал будущий писатель, а тогда студент Сергей Тимофеевич Аксаков. Он отмечал, что в кабинете ещё находился стол Ломоносова.
После кончины Алексея Алексеевича в 1808 году домом распоряжалась его дочь Софья Константинова, которая была замужем за героем войны 1812 года генералом Николаем Николаевичем Раевским. В 1820 году имение досталось старшей дочери Раевских Екатерине, вышедшей замуж за генерала Михаила Фёдоровича Орлова.
Историк Петербурга П. Н. Столпянский утверждает, что в 1823 году участок принадлежал генералу от инфантерии Раевскому [2, с. 140]. Но с ним спорят авторы книги "Большая Морская улица", которые пишут, что 9 октября 1821 года здание было выкуплено Почтовым ведомством у Е. Н. Орловой за 182 000 рублей. При всём уважении к Петру Николаевичу Столпянскому, свой труд он писал в начале XX века. Книга "Большая Морская улица" написана в наше время, а значит её авторы не могли не знать про версию предшественника и не проверить её. Значит их сведения можно считать более точными.
Как бы то ни было, в 1843-1847 годах архитектором Альбертом Катариновичем Кавосом была произведена перестройка находящихся здесь зданий. В них разместилась станция почтовых карет и дилижансов, отправлявшихся в Москву, Варшаву, Ригу. Тогда со стороны Большой Морской улицы появились три корпуса, позже соединённых в одно единое здание. Но три отдельные части проглядываются на фасаде современного дома и сейчас. В центральном корпусе были созданы большие и светлые сени, общий зал для пассажиров с диванами, коврами и зеркалами. Двор, в котором пассажиры садились в экипажи, был накрыт стеклянной крышей. В 1848 году хроникёр писал:
С развитием железный дорог надобность в почтовых каретах исчезла. Усадьбу Ломоносова приспособили под жильё начальника Почтового департамента и других чиновников, а позже здание перешло во владение Министерства внутренних дел. В 1870-х годах три флигеля были объединены в одно здание. Здесь находилась квартира министра внутренних дел. Одним из живших в доме №61 министров был Л. С. Маков, который, после обнаружения в Министерстве финансовых злоупотреблений, в 1883 году застрелился здесь же. После него служебную квартиру занимали Иван Логинович Горемыкин, Дмитрий Фёдорович Трепов.
После революции в доме №61 открылись Новоадмиралтейский театр под руководством Н. Э. Радлова и детский театр. В 1918 году под предлогом неуплаты городских сборов здание было конфисковано Комиссариатом городского хозяйства. Здесь разместились учреждения связи. В 1920-х годах в усадьбе Ломоносова располагались Дом просвещения имени Подбельского и Союз работников связи. В настоящее время здесь находится Петербургское областное производственно-техническое управление связи.
