Дом №6 на набережной Кутузова был построен в 1770-х годах при первом хозяине этого участка премьер-майоре П. Я. Толстом. Уже тогда здесь было выстроено здание в три этажа и одиннадцать осей. В дальнейшем оно лишь изменяло свой фасад. В 1794 году после смерти Толстого его брат продал участок придворному парикмахеру М. М. Яковлеву.
В 1801 году дом выкупил адмирал Григорий Григорьевич Кушелев, владевшему им более тридцати лет. Здесь он поселился вместе со своей молодой женой Любовью Ильиничной Безбородко. В этом доме в семье Кушелевых родилось два сына, которые в последствии взяли фамилию Кушелев-Безбородко. После адмирала особняком владел его младший сын Григорий. Он задумывал произвести здесь некоторые перестройки, однако передумал и продал дом.
Новым хозяином особняка стал министр финансов граф Егор Францевич Канкрин. Здесь Егор Францевич проживал годы после ухода с государственного поста в 1844 году.
В 1851 году дом Канкрина купил генерал-адъютант Семён Андреевич Юрьевич. После смерти генерала участок перешёл военному инженеру К. Ф. Соколову. Им было составлено два проекта переделки здания. Первый, составленный в апреле 1867 года принят не был, второй был осуществлён. После этого дом принял тот вид который имеет по сей день.
В дальнейшем домом владели многие другие хозяева. В 1899 году он перешёл к графу Александру Дмитриевичу Шереметеву, владельцу соседнего участка. Квартиры здесь сдавались в наём.
