В начале XIX века на этом участке Невского проспекта был построен трёхэтажный дом. В середине века им владела вдова капитана Е. А. Ольхина.
В 1882 году для купца А. Г. Чадаева дом был перестроен техником М. А. Андреевым, активно работавшим в то время в Петербурге. Он надстроил четвёртый этаж и изменил фасад. Коммерции советник А. Г. Чадаев был старостой Казанского собора. Перед 1917 годом в доме №53 по Невскому проспекту находились офисы его сыновей. В центре фасада установлены часы с надписью об основании какого-то заведения в 1906 году.
Дом Чадаева занимали меблированные комнаты. Таких заведений, в связи с близостью Николаевского (Московского) вокзала, в округе было множество. Кроме того, здесь находились книжный магазин Д. В. Чичинадзе, фабрика кинематографиста и фотографа А. О. Дранкова, кинотеатр "Маяк", театр-комик "Пате". В 1900-х годах окна полуподвальных помещений были оформлены в стиле модерн. В 1913 году кинозал был перестроен архитектором А. Я. Ромасько, который работал и над соседним кинозалом в доме №51.
В 1925-1927 годах здесь работало издательство журнала "Былое". Позже здесь находилось издательство "Книгосоюз". В 1950-х годах помещения дома №53 заняла редакция журнала "Строительство и архитектура Ленинграда", главного архитектурно-строительного журнала города.