Первым владельцем участка участка дома №54/3 по Невскому проспекту в 1740-х годах стал архитектор Главной полицмейстерской канцелярии Пьетро Антонио Трезини, устроивший здесь свою усадьбу. Вскоре участок был выкуплен графом И. И. Шуваловым. В 1750-1751 годах по проекту С. И. Чевакинского здание было расширено и надстроено. Впоследствии оно вошло в единый комплекс дворца Шувалова, расположившегося между Невском проспектом, Итальянской, Садовой и Малой Садовой улицами. До переезда в 1755 году во дворец на Итальянской улице Шувалов жил именно в этом доме. Здесь у него в гостях часто бывали М. В. Ломоносов, А. П. Сумароков и В. К. Тредиаковский. После смерти Шувалова в 1797 году по наследству дом перешёл во владение его племянницы В. Н. Головиной.
В 1825 году дом купил миллионер промышленник Н. Н. Демидов. В это время фасад дома приобрёл черты позднего классицизма. Затем он перешёл А. Н. Демидову, для которого архитектором А. Х. Пелем в 1841 году был построен флигель на Малой Садовой улице. В это время в доме размещалась "Демидовская гостиница". Меблированные комнаты здесь содержала подруга О. Монферрана Огюстин Шатильон.
Номера "Демидовской гостиницы" сдавались только заезжим артистам. Среди них была Полина Виардо, в то время известная оперная певица. Она приехала на гастроли в Петербург в 1843 году. Здесь с Виардо познакомился Иван Сергеевич Тургенев. Полина произвела впечатление на Тургенева, вскоре он признался ей в любви. Но они оба не были свободны, Виардо настояла на дружеских отношениях. Петербургские концерты Виардо давала рядом, в доме Энгельгардта.
В 1865-1880 годах здесь работали книжный магазин и библиотека А. А. Черкесова, в 1919 году ставшая Центральной коммунальной библиотекой Петрограда. На её основе позже была создана Центральная городская библиотека им. В. В. Маяковского. В 1872 году здесь впервые появился в продаже "Капитал" Маркса. В 1877-1910-х годах в доме №54 по Невскому проспекту работал один из лучших букинистических магазинов Петербурга фирмы "Российская библиография" Э. К. Гартье.
В 1878-1917 годах домом владел крупный предприниматель А. М. Ушаков и его наследники. Для Ушакова в 1882-1883 годах по проекту П. Ю. Сюзора здание перестраивалось в том виде, в котором существует и сейчас. Дом стал четырёхэтажным с фасадом в стиле эклектики. Украшающие фасад скульптуры были созданы Д. И. Иенсеном.
Дом Ушаковых занимали меблированные комнаты и магазины. В нём разместилось фотоателье Д. Бианки. В конце XIX века здесь находилась мастерская известного фотографа К. К. Буллы, сейчас - музей фотографии К. К. Буллы. После ареста в 1937 году К. К. Буллы ателье возглавлял его сын В. К. Булла.
Помещения дома Ушаковых в 1895-1907 годах занимали книжный магазин и контора издательства Ольги Николаевны Поповой. Её издательство ориентировалось на выпуск литературы по естественным наукам. Естественно-научный отдел в нём возглавлял К. А. Тимирязев. В те годы была популярна дешёвая серия "Рассказы о разных странах и народах", выпускавшаяся у Поповой. Она сотрудничала с большевиками, печатала А. В. Луначарского, А. М. Коллонтай. Издательство выпускало журнал "Новое слово", который печатал таких начинающих авторов как И. А. Бунин, А. М. Горький, А. Серафимович. О. Н. Попова занималась переводами Э. Золя, Дж. Р. Киплинга. Также она написала несколько пьес, которые ставились в петербургских театрах. В 1895 году Попова приобрела библиотеку А. А. Черкесова, и значительно пополнив её фонд, открыла при своём магазине. Ольга Николаевна Попова умерла в 1907 году.
По инициативе М. Горького в 1919 году здесь открылось издательство художника-карикатуриста З. И. Гржебина. Оно должно было выпускать дли широких масс книги по естествознанию, технике, истории, искусству, художественную литературу. Горький сумел привлечь для этой цели известных учёных. В редакционный совет вошли академики А. Е. Ферсман, В. А. Стеклов, Б. Л. Модзалевский, профессор Б. Е. Райков и другие. Ежедневно они собирались на заседания под председательством Горького. Профессор Райков вспоминал:
Позже в доме №54/3 разместилось Управление общественного питания. В 1930-х годах - магазин электротехнических изделий. В его витрине была установлена первая в Ленинграде реклама из ламп дневного света. Позже здесь работали студия звукозаписи, магазин "Подарки".
О событиях ленинградской блокады напоминает установленная на фасаде здания мемориальная доска с изображением репродуктора. Здесь в военные годы жители города слушали новости.
В мансардном этаже дома №54/3 работает музей-фотосалон К. К. Буллы, с балкона которого открывается вид на крыши домов Невского проспекта, Садовой улицы и площади Островского.
