В 1714 году владельцем этого участка Английской набережной был "разных художеств мастер Анисим Моляров". Здесь располагался его деревянный дом. Строительство каменного хозяину было не по карману. Наследник Молярова гвардии поручик Алексей Корякин так же не обладал средствами на строительство каменного особняка.
30 апреля 1733 года участок передали кадетам Ефимовским - Ивану и Андрею. Каменный барочный дом на набережной был возведён в конце 1730-х годов - начале 1740-х. В 1738 году проверка выяснила, что здание ещё не было построено. Иван Ефимовский умер рано. С 1748 года владельцем участка числился Андрей Михайлович Ефимовский, который дослужился до чина генерал-майора. Его мать Анна Скавронская была родной сестрой императрицы Екатерины I.
Спустя некоторое время Андреем Михайловичем особняк был записан на его вторую жену, которая часто сдавала помещения в наём. В 1777 году дом был продан. Им владели купец Абрахам фон Бринен и его сын, купец Людвиг Петрович Бетлинг.
В начале XIX века владельцем усадьбы стал Александр Алексеевич Яковлев, дядя Александра Ивановича Герцена. Александр Алексеевич обладал чрезвычайно строгим нравом. Его характер привёл к тому, что из-за ссоры с генерал-губернатором ему был запрещён въезд в Санкт-Петербург. Некоторое время Яковлев прожил в своём тверском имении, после перебрался в Москву. В дом на Английской набережной он вернулся в 1822 году. Вероятно, именно при нём здесь был построен особняк в классическом стиле и разбит сад.
Во время наводнения 1824 года Яковлева залило в карете. Он заболел и скончался в начале 1825 года. Всё состояние по завещанию перешло его сыну Алексею. Алексей Александрович слыл затворником, увлечённо занимался химией. В доме на набережной его навещал двоюродный брат - А. И. Герцен. Двоюродная сестра Герцена Т. П. Пассек так описала жилище Алексея Яковлева:
Для Алексея Александровича интерьеры дома переделывали архитекторы К. И. Лоренцен и Л. Ф. Фонтана. Многие вещи сюда были перевезены из московского дома Яковлевых.
Со временем финансовые дела Яковлева пришли в упадок. Он просил 30 000 рублей у дяди (отца Герцена), но в займе ему было отказано. В 1867 году дом на набережной уже принадлежал коллежскому советнику П. А. Захарьину, прежний хозяин стал арендатором. Захарьин был сводным братом Яковлева. Его сестра Наталья была замужем за А. И. Герценом. В 1868 году особняк окончательно перешёл Захарьину, для которого интерьеры перерабатывал А. Гелевский.
После смерти Алексея Яковлева в 1869 году Захарьев продал особняк Александру Васильевичу Полежаевскому, действительному статскому советнику, активному участнику строительства Николаевской железной дороги. Новый хозяин пригласил архитектора Павла Петровича Мижуева, который оформил сохранившийся до наших дней фасад с навесом. Со стороны Галерной улицы им был построен трёхэтажный дом во флорентийским стиле. Интерьеры особняка были оформлены художником В. А. Гартманом в русском стиле.
После смерти Полежаева его сыном дом был продан генерал-адъютанту Николаю Васильевичу Воейкову. При нём М. Ф. Гейслером во дворе были построены каретные сараи. В 1895-1917 годах участок принадлежал Елене Андреевне Третьяковой, родственнице основателя московской Третьяковской галереи.
После 1917 года особняк принадлежал военно-морскому ведомству. В 1956 году здесь разместился детский сад Адмиралтейского района. В 1996 году дом заняло Санкт-Петербургское Морское собрание. В настоящее время здесь расположено консульство Великого Княжества Монако. До сегодняшнего дня в особняке сохранилась мраморная лестница, частично уцелела отделка комнат. Во время реставрации были приведены в порядок четыре помещения бельэтажа. Не удалось восстановить лишь паркет и живописные плафоны. Пространство Большого зала остаётся занятым квартирами.
