Участок дома №27 на Кожевенной линии был застроен не позже 1770-х годов. К тому времени здесь находился обращённый к заливу каменный дом. В 1780-х годах сюда по указу Екатерины II были переведены кожевенные заводы. Организацией производства занималась А. Е. Фишер, ставшая владелицей этого участка. Для неё в 1787 году дом был перестроен. На первом этаже разместилась контора завода и прислуга, на втором - жилые помещения.
В 1844 году владельцем участка числился купец Н. М. Брусницын. В 1857 году по проекту А. С. Андреева с западной стороны к зданию пристроили объём в три оси. В 1860-х годах им же были увеличены окна первого этажа и высота второго этажа, изменён лицевой фасад. В 1868 году участок с особняком перешёл к Е. И. Брусницыной, Н. М. Брусницын стал владельцем земли южнее Кожевенной линии. В 1877 году по проекту Н. Ф. фон Брюлло во дворе был построен двухэтажный склад.
В 1882 году особняк перешёл к братьям Брусницыным, для которых через два года его перестраивал А. И. Ковшаров. Второй этаж вновь был повышен. С восточной стороны для парадной лестницы к зданию добавлена пристройка в одну ось. Со стороны двора был организован зимний сад. Лицевой фасад был надстроен под один карниз. Именно при этой перестройке здание получило существующий сейчас облик. Отделка интерьеров особняка отличалась особым богатством. Выделялись Белый зал, столовая и гостиная. Во второй половине XIX века перепланировали сад, соорудили садовую ограду.
После 1917 года особняк стал принадлежать кожевенному заводу имени А. Н. Радищева. Здесь разместилось заводоуправление. В 1925-1930-х годах на месте ворот были устроены вестибюль и проходная. Помещения парадной лестницы разделили деревянными перекрытиями, часть дверных проёмов была заложена. В 1993 году над зимним садом соорудили металлическое перекрытие, реставрировали Белый зал и столовую.
Существует легенда о находящемся здесь зеркале. Этот предмет интерьера с середины XVI века якобы висел в одном из венецианских палаццо, где хранился прах самого графа Дракулы. При оформлении гостиной зеркало было заказано Брусницыным и доставлено в особняк. Все, кто в него смотрели, говорили о странном ощущении. Впоследствии с ними происходили разные неприятности. После несчастного случая с дочерью фабриканта зеркало спрятали в кладовой. После революции оно оказалось в ДК имени Кирова, а позже возвращено в особняк, повешено в кабинете заместителя директора. Через некоторое время заместитель директора бесследно исчез, а кабинет заколотили.
