Участок дома №4 по набережной Кутузова в 1780-х годах принадлежал капитан-поручику П. О. Кожину. При нём здесь был построен трёхэтажный дом с фасадом в три стороны. Затраты на строительство оказались для Кожина такими большими, что ему пришлось продать свой кирпичный завод, а в 1789 году и сам недостроенный особняк.
Новым владельцем участка стал царскосельский протоиерей Андрей Афанасьевич Самборский. На соседнем участке (дом №2) у Самборского был сад.
В 1798 году дом был продан Экспедиции государственного хозяйства, позже здесь был размещён лейб-гвардии артиллерийский батальон. В особняке устроили офицерские квартиры.
К 1858 году офицеры перебрались в новые квартиры, дом выкупил барон Б. А. Фитингоф. Для нового хозяина дом был перестроен по проекту Е. А. Тура. С тех пор внешний вид здания в основном неизменен.
В своём особняке Фитингоф занимался музыкой. По вечерам у него собирались друзья, среди которых был скульптор Н. С. Пименов. В 1968 году одну из квартир на третьем этаже сняли только что поженившиеся граф Сергей Дмитриевич Шереметев и внучка князя П. А. Вяземского Екатерина Павловна. Пётр Андреевич не раз бывал у них в гостях.
В 1883 году дом приобрёл граф Александр Дмитриевич Шереметев, который поселился здесь со своей женой. Для графа проект переделки здания составляли сразу 4 архитектора: В. Г. Тургенев, В. А. Прусаков, А. И. Гоген и Д. Д. Зайцев. Они заново спроектировали внутреннюю отделку, незначительно изменили фасады. К облику дома были добавлены эркеры. Проект главной лестницы, зала и парадных комнат составлял А. И. фон Гоген. По желанию заказчика оформление некоторых залов повторяли помещения в родовом особняке Шереметевых на Фонтанке. Строительные работы в особняке были завершены к 1885 году. В 1887 году Г. В. Барановским здесь была устроена домовая церковь.
В 1918 году дом был покинут хозяевами. В 1922 году особняк был разграблен, часть ценностей перешла в Фонтанный дом и Эрмитаж. В 1934 году здесь был открыт Дом писателей им. В. В. Маяковского.
В 1990-х годах в Доме писателя произошёл сильный пожар.
