К 1798 году на участке дома №96 по Невскому проспекту был построен трёхэтажный дом для советника Государственной военной коллегии В. А. Пашкова. Постепенно лицевой корпус дополнился дворовыми флигелями, заработала небольшая фабрика (во втором дворе), пекарня Филиппова, кофейня, маленький сад с фонтаном. В начале XIX века его приобрела семья купцов Яковлевых. В 1838 или 1839 году для И. Т. Яковлева архитектор А. Х. Пель надстроил здание четвёртым этажом и возвёл ещё два дворовых флигеля.
В начале 1850-х годов от Невского проспекта была проложена Надеждинская (ныне Маяковского) улица, участок стал угловым.
В 1870 году архитектор М. А. Макаров составил проект здания со стороны Надеждинской улицы. Здесь были использованы те же приёмы построения фасада, как в проекте этого зодчего для дома №100 по Невскому проспекту - крупные арки на колонках. В это время домом №96 владел потомственный гражданин, купец 1-й гильдии П. Д. Яковлев. В 1871 году Макаров перестроил угловое здание, богато оформив его фасад. Насыщенные лепниной эклектичные фасады - характерная черта многочисленных работ зодчего. Он сохранил широкий ризалит со скруглёнными углами, скруглил угловую часть здания, надстроил мезонин с фигурами путти. Макаров работал также и над соседними домами №98 (в 1868 году) и №100 (1866-1867 годы).
В 1878-1880 годах в меблированных комнатах дома №96 по Невскому проспекту жил народоволец Н. В. Клеточников. Хозяйка этих комнат А. П. Кутузова содействовала ему в устройстве на службу в Третье отделение. В 1870-х годах в этом доме разместился фруктовый магазин купца В. И. Соловьёва, имевшего магазины во многих домах в округе.
На рубеже XIX и XX веков участок принадлежал В. П. и П. П. Яковлевым. В 1910-х годах здесь находилось правление товарищества "Братья Васильевы". В 1911-1912 годах архитектор П. В. Резвый перестроил дворовые корпуса.
В послевоенные годы в доме №96 работало кафе "Ленинград", оформленное по проекту архитектора А. И. Лапирова. В нижних этажах работала сберкасса и детский сад. В конце 1980-х годов здесь работал магазин "Лаки-краски".
К 1980-х годам в доме №96 было 40 коммунальных квартир с площадью свыше 100 кв. м., 26 комнат шириной менее 2,2 метра, 47 - недостаточной освещённости [2]. В 12 квартирах отсутствовали ванные помещения. Почти во всех корпусах отсутствовали лифты. Техническое состояние дома было очень далеким от идеального. По заключению института Ленжилпроект здание было решено снести, после чего его воссоздать, при этом добавив брандмауэрной стене окон. По новому проекту в воссозданном здании должно было быть устроено 30 однокомнатных квартир.
Расселение дома прошло быстро. Сотрудники КГИОП демонтировали из лицевого корпуса пять каминов и двухъярусную угловую печь в стиле модерн. Они были переданы в Меншиковский дворец, Литературный музей А. К. Толстого, ЛГО ВООПИК и Музей истории города. Позже в корпусе по улице Маяковского был обнаружен камин поливного изразца, но до работников КГИОП его успели демонтировать неизвестные лица. Также здесь были украдены ещё ряд каминов и элементов декоративной отделки помещений. Долгое время здание стояло расселённым и заброшенным, в нём жили бездомные. Капитальный ремонт здания завершился лишь в 1990-х годах.
В настоящее время первый этаж дома занимают кафе "KFC", ресторан "Pizza Hut", магазины.
