Первым владельцем участка дома №62 по Английской набережной в начале XVIII века стал кадет Долгоруков. Согласно описи 1738 года он здесь не жил, а сдавал весь участок в наём английскому купцу Ниперу. Следующим хозяином имения стал английский купец Уильям Глен, от которого дом достался врачу, надворному советнику Матвею Виллимовичу Голидею. Он него в 1796 году участок перешёл в ведение Кабинета Её Императорского Величества. Согласно справочной книге за 1806 год домом владели наследники адмирала С. К. Грейга.
От семьи Грейгов здание перешло к голландскому купцу, банкиру Бетлингу. Он использовал дом для сдачи его в наём, являлся владельцем ещё четырёх особняков на набережной. В 1840 году участок принадлежал капитану П. П. Липранди. В 1858 году им владел камергер императорского двора Михаил Николаевич Челищев. Для него в разное время особняк перестраивали архитекторы Н. В. Трусов, П. С. Самсонов и Суворов. Первый из них переработал фасад, изменил облик флигеля со стороны Галерной улицы, переделал несколько дворовых построек.
В 1895 году дом №62 приобрёл купец 1-й гильдии, банкир Яков Соломонович Поляков. Его старший брат Самуил владел домом Лавалей (№4), другой брат Лазарь - домом №12. Яков Соломонович проводил много времени в Петербурге. Свой дом на Английской набережной он украсил с большой роскошью, обставил дорогими вещами. Обновление интерьеров особняка для него осуществлял архитектор Б. И. Гиршович.
После смерти Полякова в 1909 году дом перешёл к М. Л. и И. Л. Варшавских, принадлежал им до 1917 года.
В советское время дом №62 был объединён внутренними переходами с соседним домом №64. В них размещается Электромеханический колледж. Интерьеры особняка уцелели лишь частично.
