Первое трёхэтажное здание на участке дома №8 по набережной Кутузова было построено в 1774-1775 годах Францем Осиповичем Егерером.
В 1783-1805 годах здесь жила фрейлина Екатерины II Анна Степановна Протасова. Она занимала пикантную должность. В её обязанности входило проведение пробных испытаний претендентов на пост фаворита императрицы.
После Протасовой особняком владел вице-адмирал Пётр Васильевич Чичагов. Его отец вошёл в историю тем, что оказался увековечен на знаменитом памятнике Екатерине II у Александринского театра. Пётр Васильевич также был заметен, получил чин адмирала и пост министра морских сил, входил в состав Государственного совета и Комитета министров.
С 1809 года домом владел Пётр Львович Давыдов, внучатый племянник Г. А. Потёмкина. В жёнах у него была дочь графа Владимира Григорьевича Орлова Наталья. Дети Петра и Натальи взяли фамилию Орловы-Давыдовы.
В 1818 году дом перешёл князю Василию Васильевичу Долгорукому. Некоторое время княжеская чета снимала здесь помещения, в конечном итоге особняк был ими приобретён в собственность. Вместе с ними здесь жили декабристы братья Беляевы.
Далее особняком владели унаследовавшая его от родителей М. В. Нарышкина, зять В. А. Долгорукова Николай Васильевич Воейков. Последним частным владельцем особняка был тайный советник Георгий Михайлович Петров. По его заказу в 1912 году гражданским инженером Н. Л. Захаровым здание было надстроено двумя этажами, стало пятиэтажным.
