Первыми хозяевами участка дома №36 на набережной Кутузова в 1775 году стали инженер-генерал М. И. Мордвинов и бригадир А. А. Саблуков. К 1780 году оказалось что они оба так и не сподобились возвести здесь свои дома. Долгое время здесь располагались царские прачечные, по которым было дано имя находящемуся рядом Прачечному мосту. В результате в 1781 году хозяином этой земли стал инженер-генерал Ф. В. Баур. В это время он занимался работами по углублению русла реки Фонтанки и обустройству её гранитных набережных. Здесь, на углу набережных Невы и Фонтанки, он построил дом, облик которого неизменен по настоящее время.
В 1783 году Баур скончался. В 1784 году его дом был куплен казной для нужд дворцового ведомства. С тех пор здесь поселилась многочисленная дворцовая прислуга, пользующаяся значительными суммами из императорской казны. Так при дворе существовал обычай приносить каждые две недели в комнату каждого проживающего по 60 бутылок вина. В результате секретарь великого князя Павла Петровича барон Николаи оказался владельцем лучшего винного погреба в России. Жил здесь и один из уволенных со службы сельских дьяков, по воле Г. А. Потёмкина ставший смотрителем памятника Петру I. В его обязанности входило ежедневно докладывать князю о сохранности и невредимости монумента.
Одним из обитателей Боурского дома с 1841 года и до своей смерти в 1867 году был архитектор Роман Иванович Кузьмин. Он же в это время руководил здесь всеми ремонтами и перестройками [1].
С марта по ноябрь 1924 года в одной из коммунальных квартир здесь жила Анна Ахматова. Занимала она комнату, окно которой шестое от Невы.