В 1740-х годах участок дома №14 по Миллионной улице (№13 по набережной реки Мойки) принадлежал придворному повару Юрию Патону. Позже им владел К. С. Рубановский, а затем его сын Василий, чиновник Главной дворцовой канцелярии. В доме Рубановского бывал писатель Д. И. Фонвизин. Дочь владельца особняка была замужем за писателем А. Н. Радищевым, который учился в Лейпциге вместе с его младшим братом. К 1770-м годам участок был застроен только со стороны Миллионной улицы. К Мойке выходило пустое огороженное каменным забором с воротами владение.
Здания на участке неоднократно перестраивались. В начале XIX века для купца 1-й гильдии Николая Григорьевича Кувшинникова был построен каменный дом на берегу Мойки (дом №13). Это место стало вторым петербургским адресом будущего великого поэта Александра Сергеевича Пушкина. Сюда он переехал вместе со своим дядей Василием Львовичем Пушкиным из гостиницы "Бордо" (наб. р. Мойки, 82), которой Василий Львович оказался крайне недоволен. На момент вступительного экзамена в Царскосельский лицей Саша Пушкин жил в одной из квартир купца Кувшинникова. Сюда к нему из дома №14 приходил Иван Пущин, друг детства поэта. Отсюда дядя Александра увёз его в Царское Село 9 октября 1811 года.
После Купца Кувшинникова участком владели его сын Иван, супруга генерал-лейтенанта Неелова (по атласу Н. Цылова - Неплова) Анна Николаевна и их потомки. В середине XIX века архитектор Ф. И. Соболевский надстроил особняк на Миллионной улице третьим этажом. В самом начале ХХ века домом со стороны Мойки владел потомственный почётный гражданин Н. А. Сыромятников.
В 1906 году здание на Миллионной улице стало пятиэтажным. Через четыре года весь участок приобрёл барон Александр Горациевич Гинцбург, член совета директоров Верхне-Амурской золотопромышленной компании, сын знаменитого финансиста, общественного деятеля и мецената, барона Горация Осиповича Гинцбурга. К этому времени со стороны Миллионной улицы находилась небольшая ткацкая фабрика [2, с. 346]. В 1911-1913 годах архитектор О. Р. Мунц реконструировал все строения на участке. Дом на Миллионной он превратил в двухэтажный особняк с мансардой и фасадом в стиле необарокко. При этом зодчий использовал старые конструкции. Так, в здании на Мойке сохранены своды XVIII века. После завершения строительных работ Александр Горациевич подарил участок своей супруге баронессе Розе Сигизмундовне Гинцбург. Она владела им до октября 1917 года, сдавала недвижимость в аренду богатым жильцам.
Одним из обитателей дома №13 по набережной Мойки с 1914 года являлся публицист, юрист, почётный академик Петербургской академии наук Константин Константинович Арсеньев. Он стал широко известен в России благодаря тому, что работал главным редактором "Энциклопедического словаря" и "Нового энциклопедического словаря" Брокгауза и Ефрона.
После 1917 года в доме №14 по Миллионной улице некоторое время располагалось общество "Старый Петербург - Новый Ленинград", затем 16-й детский дом, 42-я школа для переростков. В 1941 году мансарда особняка была разрушена попаданием бомбы. После войны здание восстановили, сделали его трехэтажным. Долгое время здесь размещается средняя школа №204.