Существующее сейчас здание на участке дома №24 по набережной канала Грибоедова построено в первой половине XIX века. В 1881 году архитектором Л. Ф. Фонтана здесь проектировалось круглое здание Панорамы, которое было построено в этом же году, но не на этом участке, а на месте дома №13.
В 1884 году здание приобрели наследники петербургского городского головы Владимира Александровича Ратькова-Рожнова. Для новых хозяев М. Ф. Петерсеном дом перестраивался как внутри, так и снаружи. К фасаду добавились два эркера.
Несколько позже здесь был реализован новый замысел заказчика, заключавшийся в создании второго "Пассажа", конкурента подобного универмага на Невском проспекте. Перестройку здания под нужды торгового заведения осуществил П. Ю. Сюзор. После этой перестройки дом стал иметь симметричный фасад относительно входной арки. В проёмах окон Сюзором были размещены "кадуцеи" - жезлы с двумя крыльями сверху, символы бога торговли Меркурия. Двор стал сквозным проездом к Думской улице, по его сторонам были выстроены пятиэтажные торговые корпуса.
В "Пассаже" Ратькова-Рожнова продавались товары исключительно высокого качества, предназначенные в первую очередь для богатых покупателей. Но конкуренции предприятию Эссен-Стенбок-Фермора он составить не смог. В конце XIX - начале ХХ веков здесь открылся мебельный салон "Александр", после 1917 года - магазин "Старая книга".
В 1970-х годах внутренняя галерея дома №24 была перестроена для Центрального железнодорожного бюро Октябрьской железной дороги. Здесь были открыты кассы по продаже железнодорожных билетов на все направления.
