До последней трети XVIII века участок дома №6 по Невскому проспекту входил в состав Адмиралтейского луга, часть которого впоследствии стала Дворцовой площадью.
Первое здание появилось здесь в конце 1760-х - 1770-х годах. По всей видимости, оно было возведено по типовому проекту архитектора А. В. Квасова, разработавшему проектную документацию для всех зданий в этом квартале. Первоначально дом имел три этажа. В начале 1780-х годов участок достался по закладной калужскому купцу Андрею Григорьевичу Губкину [3, с. 630]. В 1821 году здание перешло во владение купцу 1-й гильдии Талю. По его заказу здание было перестроено, автор осуществлённого проекта остался неизвестным.
Вероятно, около 1830 года фасад дома №6 был отделан архитектором А. М. Ливеном [1, с. 42]. Одним из арендаторов первого этажа здесь был купец Лангганс, открывший здесь большой галантерейный магазин.
Одним из обитателей дома Таля с 1827 года был чиновник Министерства иностранных дел Иван Сергеевич Мальцов, бывший при А. С. Грибоедове первым секретарём русского посольства в Персии. При разгроме посольства 30 января 1829 года он единственный чудом остался живым. Иван Сергеевич являлся близким родственником семьи Карамзиных, был двоюродным братом князя Петра Ивановича Мещерского. Его родственником по материнской линии был близкий друг Пушкина Сергей Александрович Соболевский. Когда тот весной 1836 года вернулся в Петербург из заграничной поездки, Мальцов отдал ему свою квартиру в доме Таля, а сам поселился у своего брата Сергея. Соболевский устроил в доме Таля литературный салон. Его посещали А. С. Пушкин, А. И. Тургенев, В. А. Жуковский, В. А. Соллогуб, П. А. Вяземский, М. И. Глинка.
В мае - августе 1836 года, пока семья Соболевского обитала на даче, в их квартире жил художник Карл Павлович Брюллов. Он приехал в Петербург из-за границы для занятия должности профессора Императорской Академии художеств, привёз с собой законченную картину "Последний день Помпеи". В дом Таля Пушкин присылал поздравления Брюллову по поводу окончания работы над этой картиной. Вероятно, именно здесь художником был написан портрет Н. В. Гоголя. Отсюда Брюллов переехал на служебную квартиру в Академию художеств.
В середине 1860-х годов после смерти купца Таля его наследники продали дом №6 естествоиспытателю, доктору Александру Фёдоровичу Фольберту. Он стал известен тем, что собрал огромную палеонтологическую и минералогическую коллекции, которые впоследствии составили отдельный фонд в минералогическом музее. А. Ф. Фольберт был членом-корреспондентом Императорской Академии наук, членом многих зарубежных научных сообществ. После смерти Александра Фёдоровича в 1876 году дом №6 перешёл по наследству к его сыну надворному советнику Владимиру Александровичу Фольберту.
Первый этаж дома Фольбертов в 1870-1880-х годах занимала популярнейшая булочная-кондитерская О. Ф. Андреева. Это место использовалось для встречи участников покушения на Александра II 1 марта 1881 года. Софья Перовская передала здесь бомбы Николаю Рысакову, Игнатию Гриневицкому и рабочим Тимофею Михайлову и Ивану Емельянову. Через несколько лет здесь же собирались члены партии "Народная воля" во главе с А. И. Ульяновым. Владелец кондитерской в связи с убийством Александра II неоднократно допрашивался, но его причастность к событиям 1 марта не была доказана.
В 1890-1900-х годах дом №6 принадлежал сыновьям А. Ф. Фольберта - Владимиру и Николаю. После смерти Владимира совладельцами здания стали его дети: Николай, Георгий, Владимир и Алексей. С 1894 года в этом доме работала ювелирная лавка Эдуарда Эдуардовича Бурхарда, позже переехавшая в дом №34 по Невскому проспекту. Рядом с ней располагался крупнейший в Санкт-Петербурге магазин оптики и граммофонов Августа Августовича Бурхарда. Здесь же находилась контора издаваемого А. Ф. Марксом журнала "Нива". Перед революцией на втором этаже дома №6 располагался модный магазин "Бертран".
После 1917 года здесь размещались "Центррайрабкооп", школа языков, картографический магазин.
С 1998 года на первом этаже дома №6 работает магазин "Яркий мир".