Первым владельцем углового участка дома №44 по Большой Морской улице (№13 по Исаакиевской площади, №89 по Мойке) после пожаров в Морской слободе 1730-х годов стал купец "Козма Семёнов сын Томашевский". Это владение ему было передано именным указом императрицы Анны Иоанновны в 1745 году. Свой дом купец Томашевский построил не сразу, лишь через несколько лет. В 1765 году он решил его продать, что осуществил спустя два года. В 1767 году владельцем участка стал немецкий цеховой мастер Иоганн Андреевич Шейерман, который тогда же перепродал его комиссару главной дворцовой канцелярии Егору Григорьевичу Нехорошеву.
Дом Нехорошева был местом, где проводились аукционные торги. Здесь можно было приобрести невыкупленные из залога вещи. Тут же в 1768 году иностранцем Якобом Сибертом демонстрировались фейерверки и некое "сферическое зеркало" диаметром в 18 дюймов.
После Нехорошева домом №44 распоряжался портной Асмус Шель, у которого вели книжную торговлю Шейбнер и Еверс. Вдова Шеля Аграфена Христофоровна в 1797 году продача участок своему зятю саксонцу, золотых дел мастеру Андрею Григорьевичу Ремплеру (иногда упоминается как Римплер или Рикнер). В 1809 году он с женой и дочерьми получил российское подданство. Ремплер занимал должность оценщика Кабинета её императорского величества. Одна из его дочерей вышла замуж за ювелира Яна, а вторая, Катарина Эрнестина, стала супругой основателя ювелирной фирмы Болин, работавшей во второй половине XIX века в доме №10 по Большой Морской улице. После смерти отца она владела домом №44 до середины 1840-х годов. При ней особняк оставался одноэтажным с мезонином. Главный фасад в 21 окно выходил на площадь.
В XVIII веке на участке дома №44 западнее первого располагался ещё один двор. В 1760-х годах на нём был построен одноэтажный особняк на высоких подвалах с въездными воротами. С 1806 года в нём работал съезжий двор 1-й Адмиралтейской части. В 1809 году он был передан тайному советнику Петру Петровичу Митусову. В доме Митусова в 1828 году жил действительный тайный советник Алексей Маркович Полторацкий, который являлся братом жене А. Н. Оленина. Полторацкий женился на сестре Павла Дмитриевича Киселёва, позже жившего на этом же месте. Киселёвы и Оленины были хорошими знакомыми А. С. Пушкина. В 1837 году в доме Митусова жил Пётр Андреевич Фредерикс, который во время восстания декабристов командовал Московским полком и препятствовал его выходу на Сенатскую площадь. Дочь Фредерикса была фрейлиной императорского двора.
Дом Митусова к 1840-м годам был двухэтажным с четырёхколонным портиком. Он, вместе с домом Болиной, был снесён в 1844 году ради строительства дома для министра государственных имуществ.
Новое здание возводилось по проекту архитектора Н. Е. Ефимова. Одновременно с ним зодчий строил и здание напротив (дом №3 по Исаакиевской площади, №42 по Большой Морской улице, №87 по Мойке) для Министерства государственных имуществ. Для расширения Исаакиевской площади фасад дома №44/13/89 относительно старого отодвинули вглубь участка примерно на 15 метров.
Проект дома министра получил утверждение 6 февраля 1847 года [2, с. 242]. Здесь разместилась резиденция министра, а также канцелярия, архив министерства и типография. Отделкой здания после смерти Ефимова с 1852 года руководил архитектор Л. Л. Бонштедт. Постройка была завершена в 1853 году, её общая стоимость достигла 400 000 рублей. В отделке помещений принимали участие скульпторы А. И. Теребенев, Д. И. Иенсен. Завершающую фасад орнаментальную решётку изготовили на заводе Берда.
Фасад дома министра более пластичен, чем фасад здания министерства. Он оформлен коринфскими колоннами и балконом в центре, в отличие от соседа, украшенного лишь пилястрами. Это было сделано из-за того, что "чистая отделка, по цели назначения его, должна быть произведена с большей роскошью и искусством" [Цит. по: 2, с. 243]. Резиденция министра, конечно же, должна была быть оформлена более нарядно чем противоположное офисное здание для простых чиновников.
Первым министром государственных имуществ с 1837 года 18 лет был Павел Дмитриевич Киселёв, чья сестра была замужем за упомянутым выше А. М. Полторацким. Позже министром был Пётр Александрович Валуев, при котором в штате министерства с 1 ноября 1877 года был писатель Н. С. Лесков. В 1881-1892 годах министерство возглавлял Михаил Николаевич Островский, брат драматурга Александра Николаевича Островского. Драматург останавливался в квартире министра, приезжая в Петербург из Москвы.
С 1924 года в доме №44 находился созданный академиком Н. И. Вавиловым Институт прикладной ботаники и новых культур. В 1987 году, к 100-летию со дня рождения учёного, здесь был воссоздан его рабочий кабинет. Сейчас, как и в доме №42, в доме №44 работает Всероссийский научно-исследовательский институт растениеводства имени Н. И. Вавилова.
