Первое упоминание о доме на углу набережной Кутузова и Гагаринской улицы относится к августу 1819 года, когда в газете "Санкт-Петербургские ведомости" было опубликовано объявление: "Литейной части 1 квартала, во вновь выстроенном доме купеческой дочери Таировой под №10, отдаются внаём две квартиры... Желающие нанять могут для условия явиться на Сенной, в дом Таирова, под №29". Здание имело типичный для того времени облик: три этажа, безордерный классический фасад.
К середине 1820-х годов дом приобрела жена генерал-адъютанта Матвея Евграфовича Храповицкого Софья Алексеевна. В 1832 году по неизвестным причинам генерал переписал дом на набережной в своё владение. Сумма покупки составила 150 000 рублей. Это событие вряд ли было связано с плохими отношениями между супругами, так как незадолго до передачи дома Храповицкий ходатайствовал за брата жены декабриста Н. Н. Оржицкого.
После смерти Софьи Алексеевны генерал женился на княжне Анастасии Сергеевне Щербатовой. После смерти Храповицкого она вышла замуж за барона П. А. Вревского. После смерти второго мужа она доживала свой век в этом доме в одиночестве.
В 1892 году участок купил на имя жены В. А. Ратьков-Рожнов. В 1900 году он решил сделать подарок своей дочери Ольге, вышедшей замуж за полковника М. А. Серебрякова. Для перестройки находившихся здесь строений был приглашён молодой, но уже известный архитектор Б. И. Гиршович.
Первоначально, планировалось сохранить старое здание, переделать его лишь внутри, построить новые флигель во дворе и со стороны Гагаринской улицы. Однако, в таком случае две части особняка не создавали единого целого, и было решено снести старый дом. На его месте в 1901-1902 годах был построен новый особняк.
В настоящее время в особняке О. В. Серебряковой работает Дом ветеранов войны №3.
