Участок дома №26 на набережной реки Фонтанки изначально включал себя территорию от реки до Моховой улицы. В середине XVIII века этот участок принадлежал Канцелярии от строений. Первое каменное здание здесь было построено в 1765 году при первом частном хозяине - коллежском советнике С. Ф. Ларине.
С 1771 года земля стала принадлежать Петру Васильевичу Бакунину. Бакунин был в дружеских отношениях с архитектором Н. А. Львовым и драматургом Д. И. Фонвизиным, которые, по всей видимости, не раз бывали здесь в гостях.
В 1782 году участок приобрёл купец З. Я. Кисельников с обязанностью выстроить на берегу Фонтанки каменный дом и благоустроить напротив него набережную. Кисельников из-за финансовых затруднений выполнить эту обязанность не сумел, далее двор был перепродан.
Существующее ныне здание на берегу Фонтанки построено в 1804-1806 годах. Строилось оно для советника Дворцовой канцелярии Л. С. Назарова, вероятно архитектором А. Д. Захаровым. С 1809 года хозяином дома №26 числится К. Е. Мижуев, разбогатевший на подрядах при строительстве Михайловского замка.
Весной 1812 года в доме Мижуева, в квартире своего отца, поправлялся от раны Павел Пестель - будущий декабрист. Здесь же родился В. А. Соллогуб. В 1823 году в доме Мижуева поселился историк и писатель Н. М. Карамзин. Это место стало его последней квартирой. Здесь у Карамзина часто бывали В. А. Жуковский, А. И. Тургенев, П. А. Вяземский. Во время жизни в доме Мижуева писатель создал 10-й и 11-й тома "Истории государства Российского", тут же в своей квартире книги находили покупателей. Жил здесь Карамзин до 1826 года. В 1830-х годах в доме №26 жили П. А. Вяземский, Е. М. Хитрово.
