Первым владельцем участком дома №10 по Большому проспекту Васильевского острова был титулярный советник П. П. Сиряков, затем его наследники. В 1854 году участок приобрёл немецкий купец Адольф Юнкер. В 1854-1855 годах для него архитектором Р. А. Гедике здесь был построен трёхэтажный особняк. Далее здание принадлежало жене владельца вагонного завода "Феникс" Оскара Ивановича Фрейвирта. Для неё во дворе были построены четырёхэтажные корпуса: в 1893 году архитектором Ф. Крюгером - западный, в 1898 году В. Ф. Габерцеттелем - южный.
В 1900 году дом приобрёл промышленник, землевладелец, строитель железных дорог и заводов, меценат Виктор Фёдорович Голубев. Последним до 1917 года владельцем дома стал его сын - Лев Викторович Голубев, женатый на дочери адмирала С. О. Макарова - Александре Степановне. Для семьи Голубевых особняк перестраивался по проекту А. И. Стюнкеля. Интерьерами занимался архитектор Иван Александрович Фомин.
Осенью 1918 года в особняке была открыта библиотека, позже получившая имя Льва Николаевича Толстого. В её основу легко собрание книг камергера Голубева. В 1920-х годах "вредные для пролетариата" книги были изъяты из библиотеки, переносились во двор Андреевского собора для ожидания дальнейшей своей участи.
После переезда библиотеки в дом №17 по 6-й линии в 1976 году, здесь открылось консульство ГДР. Позже вместо консульства в особняке начали работу Дом немецкой экономики и представительство Гамбургской палаты.
