Здание Таможни расположено на набережной Макарова рядом со стрелкой Васильевского острова, где по планам начала XVIII века должна была быть создана главная площадь Петербурга. Тогда здесь стали раздавать участки богатым и знатным людям. На этой территории построили свои особняки семья Лопухиных, вице-губернатор Петербурга С. Ф. Клокачёв, московский губернатор К. А. Нарышкин. Место последнего позже занимала городская ратуша.
Таможенные службы разместились на стрелке Васильевского острова в 1730-х годах, после повеления императрицы Анны Иоанновны о перенесении их сюда с Городского острова. Этот перевод был обусловлен переселением на берег Малой Невы торгового порта. Таможню разместили в бывшем доме К. А. Нарышкина.
В начале XIX века старое здание перестало удовлетворять потребностям Таможни, было принято решение о строительстве нового. В мае 1824 года была создана Комиссия по постройке новых таможенных зданий в Санкт-Петербурге и Кронштадте, которая и занялась этим вопросом. Проект нового здания Таможни составил архитектор И. Ф. Лукини, одновременно с Таможней возводивший соседние Северный и Южный пакгаузы. Надзор за строительством осуществлял министр финансов А. Ф. Канкрин. Во время представления проекта императору Николай I внёс в него свои изменения. Он распорядился повысить башню и купол для наблюдения за прибывающими кораблями и организации здесь оптического телеграфа.
Заложено здание Таможни было 30 августа 1829 года, строительство завершено 8 сентября 1832 года поднятием флага на флагштоке [2, с. 82]. По углам фронтона были установлены три медные статуи: Меркурий, Нептун и Церера (древнеримские боги - покровители торговли, мореплавания и плодородия). Их изготовили на Александровском заводе. Во фронтоне установили часы. Башня здания Таможни завершила симметричную композицию стрелки Васильевского острова, она расположилась на противоположной стороне относительно башни здания Кунсткамеры.
В 1885 году порт с набережной Макарова переехал на Гутуевский остров. Туда же оправились и таможенные службы, их место заняли жилые квартиры. В 1903 году бывшее здание Таможни реконструировалось по проекту архитектора Н. А. Гаккеля. Работы производились для нужд Акцизного управления, Губернского казначейства и других учреждений Министерства финансов. По всей видимости, именно тогда с фасада были демонтированы часы. С 1906 по 1917 год небольшая часть здания вновь использовалось таможенным ведомством.
После 1917 года в здании Таможни первые два этажа занимали различные учреждения, а третий этаж сделали жилым. Некоторое время здесь размещался Центрспирт.
С 1927 года в здании Таможни расположены Институт русской литературы РАН ("Пушкинский дом") и Литературный музей. В 1999 году, к 200-летнему юбилею А. С. Пушкина, перед главным входом был установлен бюст знаменитого поэта. Памятник был создан за 100 лет до этого события скульптором И. Н. Шредером. Во дворе ЗАО "Академстрой" построило здание фондохранилища.
