С начала XVIII века этот участок входил в обширную территорию двора Адмиралтейства. После перевода верфи в другое место он долгое время пустовал. В 1874 году была открыта Адмиралтейская набережная. Участки бывшего двора были проданы под обывательскую застройку.
Участок дома №4 на Адмиралтейской набережной был застроен последним - в 1889 году, по проекту архитектора Д. К. Пруссака. Активное участие в строительстве принимал также академик архитектуры В. А. Кенель. Заказчиком выступил отставной инженер В. А. Панаев, для которого здесь было возведено шестиэтажное здание. Часть его помещений занимал театр, остальные сдавались в наём. Зодчий оформил фасад этого дома в превдорусском стиле. Современники восприняли его с одобрением, но отмечали несоответствие облика здания находящемуся рядом Адмиралтейству.
Согласно проекту театр занимал первый и второй этажи здания. Мансардный этаж был предназначен для декорационных помещений. Со стороны набережной оборудовался царский подъезд. Театральный зал был рассчитан на 1 175 человек. В партере имелось 240 кресел и 88 стульев. Проект предусматривал обустройство 12 лож бенуара, 25 лож в бельэтаже, 25 лож второго яруса и 16 третьего. Каждая ложа вмещала шесть человек, то есть все 78 лож могли вместить 468 зрителей.
Ход строительства чрезвычайно волновал общественность. Общество архитекторов обращалось к главному архитектору Императорских театров Н. Л. Бенуа:
В результате этого запроса архитектор Пруссак сделал доклад в Обществе архитекторов. После обсуждения проекта в него были внесены изменения.
Театр Панаева был открыт в 1887 году. Первыми здесь стали ставить спектакли русские труппы. Но они не смогли платить дорогую аренду. В 1889 году театр на весь сезон нанимал драматический артист Михаил Иванович Бибиков. Позже здесь выступали Итальянская опера и другие коллективы.
Всего через три года после открытия Панаев продал театр вдове купца 2-й гильдии Эмилии Ивановне Гинтер. Для неё переделку интерьеров заведения осуществлял архитектор А. И. Кошеваров. Несмотря на смену владельца, горожане по прежнему называли здание "Панаевским театром". В 1911 году его приобрёл П. В. Тумпаков. Для него архитекторы А. И. Кошеваров и А. К. Гаммершельд изменяли детали фасада и перепланировали театральные помещения.
Театр Панаева был уничтожен пожаром в 1917 году. Сгорело всё здание. Его восстановлению помешали февральские и октябрьские революционные события.
До 1970-х годов участок дома №4 по Адмиралтейской набережной оставался пустым. Руководство Ленинграда предлагало его под застройку разным предприятиям, в том числе Адмиралтейству для возведения казарм Военно-Морского училища. Но средств в учебном заведении на это, вероятно, не нашлось. Казармы расположились в домах №12 и 14. В 1970-х годах здесь было построено обыкновенное школьное здание. Для скрытия его фасада со стороны набережной основной корпус размещён в глубине участка за сквером. К дому №6 примыкает лишь узкий флигель.
