В начале XVIII века участок дома №53 по Большой Морской улице (№8 по Почтамтскому переулку) находился на территории Морской слободы, застроенной дешёвыми домами моряков и служителей Адмиралтейства. После пожаров 1736 и 1737 годов территория Морской слободы была перепланирована. В 1741 году этот участок получил советник экспедиции над верфями и строениями Адмиралтейств-коллегии Я. Л. Хитрово. Он построил здесь особняк, похожий на соседний дом №51. Дом Хитрово разве что был шире - в девять, а не семь осей. К 1757 году, когда Хитрово занимал пост президента Вотчинной коллегии, в особняке было 18 жилых комнат, пять сеней с кухней, два погреба с ледником. Во дворе находились каретный сарай с конюшней и два амбара.
На рубеже XVIII-XIX веков территорией распоряжалась Наталья Ивановна Апраксина, жена капитана Преображенского полка. В 1810 годах здание было надстроено для другого хозяина - купца Иосифа-Генриха (Осипа Михайловича) Пишинга, женатого на купеческой дочери Екатерине Бахерахт. В 1822 году дом был в руках действительного статского советника Н. С. Ланского, затем недолго - купца Краузе.
В середине 1830-х годов домом №53 владел тайный советник, шталмейстер Алексей Васильевич Васильчиков. Его супруга Александра Ивановна была дочерью московского генерал-губернатора И. П. Архарова. В 1831 году домашним учителем их сына был Н. В. Гоголь. Позже участком распоряжались надворный советник Потапов, ротмистр Егор Егорович Норд (в 1849, 1862 годах), Эвальд Мейснер.
При разных хозяевах здание перестраивалось в 1840-х годах. В 1860-х годах на его фасаде появились кариатиды, очередные переделки производились в 1870-х годах. В 1873 году архитектором П. К. Теребенёвым была застроена правая часть участка со стороны Большой Морской улицы, где ранее располагались ворота. Фасад был дополнен детскими фигурками, в руках которых помещён щит с буквами "ГКТ" - Голенищев Кутузов-Толстой. Это инициалы правнука М. И. Кутузова, унаследовавшего фамилию по женской линии, так как единственный сын Кутузова умер рано. Старшая дочь Кутузова вышла замуж за сенатора М. Ф. Толстого, их сын получил право носить двойную фамилию.
В 1876 году дом №53 перестраивал архитектор Юлий Осипович Дютель. Он надстроил флигели по Большой Морской улице и Почтамтскому переулку. Заказчицей была жена коллежского регистратора Л. Н. Корнеева. Изменилась отделка фасадов - исчезли кариатиды. В 1880 году архитектор Л. Ф. Шперер создал угловой эркер. Вероятно, тогда же, на месте кариатид появились атланты. Возможно позже изменилось содержание щита в руках детских фигурок, там появилась буква "В". Это было связано с тем, что в конце 1880-х годов домом владел полковник, а затем генерал-майор Пётр Алексеевич Бильдерлинг. Его наследники распоряжались зданием до революции.
Полуподвальный этаж дома в 1873-1875 годах занимал склад артельных сыроварен, основанных купцом Николаем Васильевичем Верещагиным, братом известного художника. Он первым в России разработал свои рецепты промышленного приготовления сыра и масла. В 1894 году здесь жил Александр Фердинандович Кельх, позже переехавший в свой дом на Сергиевской (ныне Чайковского) улице (дом №28). В 1895 году здесь жил Елим Павлович Демидов, внук и сын владельцев домов №43 и 45 по Большой Морской улице.
К 1912 году хозяйкой особняка числилась вдова генерал-майора Бильдерлинга Софья Владимировна. В 1915 году здесь жили её сыновья Александр, Андрей, Владимир, Николай и Пётр. Во время Первой мировой войны они устроили в своём доме лазарет. Перед 1917 годом в доме Бильдерлингов обитал председатель Петроградского автомобильного клуба, врач и почётный мировой судья Василий Павлович Всеволожский.
В 1930-х годах дом №53/8 занимало консульство Латвии. Одну из квартир мансардного этажа со стороны Почтамтского переулка занимала актриса Марадудина, а затем популярный артист эстрады Александр Менакер. В этой квартире гостили Дунаевский, Черкасов, Акимов, Утёсов, Райкин. Много позже здесь навещал родных сын Александра Менакера и Марии Мироновой знаменитый актёр Андрей Миронов. Парадные помещения дома сохраняют элементы прежней отделки. Один из залов оформлен дубовыми панелями и шкафами, стены расписаны на темы немецких сказок. Внутри эркера находится неработающий фонтан. Некоторые комнаты украшены лепным декором.
