Участок на углу Таврической и Тверской улиц в 1903 году был приобретён купцом Иваном Ивановичем Дерновым. В этом же году здесь было начато строительство нового доходного дома, проект которого составил гражданский инженер Михаил Николаевич Кондратьев. К 1904 году построенное здание оценили в 325 346 рублей, чистый доход с него составил 32 740 рублей в год.
В 1905 году в угловой трёхкомнатной квартире на верхнем мансардном этаже поселились вернувшиеся из Италии супруги поэт-символист Вячеслав Иванов и поэтесса Лидия Зиновьевна-Аннибал. Ими здесь устраивались творческие встречи, так называемые "Среды". В их квартире бывали В. Брюсов, А. Белый, М. Волошин, Н. Гумилёв, Н. Бердяев, А. Луначарский, Л. Андреев. Здесь заявила о себе как о молодой талантливой поэтессе Анна Ахматова, впервые прочитал свою "Незнакомку" Александр Блок. Эту квартиру хозяева и их гости называли "Башней", так как фактически башню на углу дома они и занимали. Дом с тех пор стал известен как "Дом с башней". По словам Вячеслава Иванова:
В доходном доме Дернова сдавались квартиры жильцам разного уровня достатка. Жители второго-пятого этажей пользовались лифтом. На последний шестой этаж нужно было подниматься пешком. По словам дочери поэта Лидии Ивановой:
В 1910 году в "Доме с башней" был организован любительский "Башенный театр". В постановках участвовали посетители "Башни", дети Иванова, Зиновьевой-Аннибал, дети швейцара. Постановкой и оформлением спектаклей руководили В. Мейерхольд, С. Судейкин. Существует мнение, что знаменитый приём появления актёров из зрительного зала Мейерхольд придумал именно здесь.
Вячеслав Иванов покинул Россию в 1912 году, тогда же прекратились и "Среды".
На разных этажах в доме работали училище танцев Знаменского, общественная читальня. В круглом зале под квартирой Иванова в 1906-1909 годах размещалась частная художественная школа Е. Н. Званцевой, ученицы П. Чистякова и И. Репина. В 1918 году по распоряжению Луначарского в первых этажах дома вновь была открыта художественная школа. Перед Великой Отечественной войной здесь работало художественное училище, которое называли Таврическим или школой Шабловского - по фамилии директора. На основе Таврического училища было организовано Художественное училище им. Серова (сейчас им. Рериха), размещавшееся в доме Дернова до 1961 года.
