Участок дома №56 по Большой Морской улице (№101 по Мойке, №10 по Почтамтскому переулку) в середине XVIII века принадлежал поручику Михаилу Петровичу Грецову. В то время Почтамтского переулка не существовало. Хозяин указывал только, что с этой стороны находится "зделаный в Мью реку эллинг", то есть спуск к воде, пристань. В 1759 году участок перешёл в руки архитектору Крестьяну Кемпе, от которого он перешёл по наследству брату, архитектору города Гданьска Иоганну Георгу Кемпе. В 1785 году территория перешла к тайному советнику сенатору Степану Фёдоровичу Стрекалову, который в 1784-1792 годах служил управляющим Кабинета её императорского величества.
От Стрекалова в 1798 году дом достался действительному тайному советнику, сенатору Михаилу Ивановичу Донаурову. К этому времени он был одноэтажным на высоких подвалах с фасадами на три стороны. Через два года Донауров продал особняк именитому гражданину Александру Васильевичу Ольхину, который сразу же заложил его прежнему владельцу.
Ольхин скончался в 1816 году. Наследники несколько лет делили наследство. Только через пять лет дом №56 был утверждён за вдовой Александра Васильевича. В том же году его приобрёл коллежский асессор Михаил Васильевич Гурьев. В 1826 году в доме Гурьева жил художник Дмитрий Иванович Антонелли. От Михаила Васильевича особняк достался его сыну Василию, который позже заложил его за 100 000 рублей серебром штаб-ротмистру графу Иллариону Ивановичу Воронцову-Дашкову.
Когда Гурьев умер не выплатив долга, Воронцов-Дашков пытался закрепить участок за собой. Но вместо этого была учреждена опека. Опекуншей стала мать В. М. Гурьева, во втором браке княгиня Наталья Александровна Вяземская. В 1863 году дом оценили и продали с аукциона. К этому времени дом продолжал быть одноэтажным. В первом этаже располагалась квартира хозяев, в подвальном - "Питейное и портерное заведение" Алексея Петровича Тимофеева. На торгах дом купил именно И. И. Воронцов-Дашков, но вскоре его продал. В 1866 году им уже распоряжался штабс-капитан Алексей Павлович Козлов. Тогда же для него архитектором Н. П. Гребёнкой особняк был надстроен вторым этажом, фасад приобрёл черты необарокко.
В 1880-х годах хозяином здесь был Павел Алексеевич Козлов. В начале своей карьеры он был чиновником, но впоследствии занялся литературой. Его переводы Байрона считаются лучшими дореволюционными. Козлов сочинял стихи, эпиграммы, он является автором текстов популярных романсов. К некоторым он сам писал музыку. У Павла Алексеевича собирался литературный салон, устраивались ежемесячные "литературные обеды". В альбоме его супруги Ольги остались автографы В. Гюго, отца и сына Дюма, П. Мериме, Н. А. Некрасова, И. С. Тургенева, И. А. Гончарова, Ф. М. Достоевского, Ф. И. Тютчева, П. И. Чайковского и многих других. П. А. Козлов умер в 1891 году в Москве. Дом перешёл его дочери графине Ольге Павловне Келлер.
В 1915 году владельцем дома №56 стал Моисей Акимович Гинсбург (не путать с баронами Гинцбургами). Он вошёл в историю как главный поставщик русского тихоокеанского флота в 1880-1915 годах. Он отошёл от дел после того, как в Русско-Японской войне Россия потеряла свой флот. После этого он получил чин действительного статского советника, орден Владимира 4-й степени и поселился в Петербурге. В начале Первой мировой войны он открыл в столице лазарет и убежище для жён и детей ушедших на войну матросов. В 1917 году он лишился почти всего своего состояния.
В 1920-х годах здесь размещалось эстонское генеральное консульство. В 1950-х годах дом был надстроен ещё одним этажом, но сохранил свои архитектурные черты.
