Первое каменное здание на участке дома №57 по Большой Морской улице появилось в 1740-х годах. Тогда его владельцем был князь И. А. Урусов. Его особняк походил на другие соседние дома - был одноэтажным на высоких подвалах, шириной в девять осей. В 1763 году подполковник князь Иван Петрович Щербатов предлагал снять или купить дом. Позже участок приобрёл статский советник Сергей Васильевич Акчурин, ставший впоследствии обер-прокурором Синода, сенатором.
От Акчурина в 1771 году дом №57 достался протоиерею духовнику Екатерины II Иоанну Иоанновичу Панфилову. Он имел огромное влияние на императрицу. Панфилов занимался благотворительностью, был одним из первых членов Российской академии, участвовал в составлении Словаря русского языка. Он распоряжался участком как минимум до 1797 года.
В 1804 и 1809 годах хозяином участка числится коллежский советник Матвей Бороздин, затем более двух десятилетий - коммерции советник Венедикт Венедиктович Крамер, позже и его сын Себастьян. В 1816 году он хотел перестроить здание, но поданные в Управу чертежи не были одобрены.
В 1850-1851 годах архитектор А. К. Кольман перестраивал особняк для почётной гражданки Любови Степановны Заешниковой. К 1854 году зданием владел некто Овандер. Через 20 лет участок был в руках коллежского секретаря Виктора Николаевича Стобеуса, а с 1880-х годов - инженера-технолога Константина Матвеевича Полежаева, председателя правления Санкт-Петербургско-Московского коммерческого банка. Этот человек в 1871 году основал фирму, занимающуюся поиском золота в Енисейском и других округах. Для него в 1881 году некоторые перестройки петербургского особняка производил архитектор А. Ф. Красовский, при которых здание приобрело существующий сейчас облик.
На рубеже XIX-XX веков дом Полежаева стал резиденцией золотопромышленных фирм [1]. Его владелец был полным или частичным собственником восьми из них. Его компаньоном был известный банкир и благотворитель Гораций Гинцбург. Полежаев владел и другим зданием на 9-й линии Васильевского острова. И здесь, и на Васильевском острове, он сдавал помещения внаём. В его доме на Большой Морской улице в 1890-1900-х годах находилось посольство Дании.
Полежаев скончался в 1907 году. До революции его домами владел сын Б. К. Полежаев, также занимавшийся банковским делом. Он был директором частного коммерческого банка, членом Совета директоров Южно-русского металлургического общества, председателем Международного технико-промышленного акционерного общества.
