На участке дома №46 по Большой Морской улице (№91 по Мойке) в 1740-х годах стоял одноэтажный особняк на высоких подвалах. Со стороны Большой Морской дом имел семь окон, три из которых почему то отличались от остальных. Они меньше, да и весь фасад с их стороны выглядит иначе. Возможно, здесь стояло два разных строения, объединённых одной крышей. Владельцами этого участка были купцы Серебренниковы, сначала Михаил, а затем его сын Иван.
В 1770 году после кончины хозяина дом был описан и продан с аукциона, который проходил здесь же. Покупателем стал старшина парикмахерского цеха Егор Андреевич (видимо, он же Георг Андреас) Шварц. В 1815 году в особняке Шварцев экспонировалась коллекция чучел животных, большую часть которую составляли чучела птиц. Через пять лет здесь открылась "Контора отправления в Москву почтовой коляски".
Внуки Шварца продали дом в 1824 году статскому советнику лейб-медику Карлу Яковлевичу Миллеру. Новый владелец желал перестроить особняк: продолжить флигель на месте въездных ворот, надстроить корпус со стороны Мойки третьим этажом. В 1836 году в доме №46 останавливался французский художник, директор Королевской французской академии художеств Эмиль-Жан-Орас Верне. В 1842 году дети Миллера продали участок Генриетте Марковне Фейгин за 70 000 рублей.
Позже Генриетте Марковне пришлось заложить дом. В 1850 году правлением Государственного заёмного банка было решено выставить его на продажу. Через четыре года домом уже распоряжался некто Галлер. В 1862 году хозяином здесь был надворный советник Рогов, который хотел оборудовать вход в дом чугунным навесом-зонтиком. В 1869 году зданием владела Рогова Екатерина.
В 1871-1873 годах, когда домом №46 владела княгиня Александра Павловна Львова, здание перестраивалось по проекту Н. Ф. Брюлло при участи И. П. Ропета. С той поры дом стал четырёхэтажным с эркером на третьем этаже. Его фасад решён в эклектичном стиле с барочными элементами декора. Семье Львовых принадлежал также дом №39 по Большой Морской, который унаследовал сын княгини Александр Дмитриевич. Дом №46 достался Павлу Дмитриевичу Львову.
Дом Львовых в 1891 году стал местом жительства Марии Карловны Бенуа, снимавшей здесь квартиру в верхнем этаже. Урождённая Кинд, она взяла фамилию первого мужа, архитектора и художника Альберта Николаевича Бенуа. Во втором браке она была замужем за зажиточным инженером Б. М. Эфроном. На сестре Марии Карловны Анне позже женился Александр Николаевич Бенуа. Он не приглянулся родителям невесты, которые запретили швейцару пускать в дом жениха. Тогда А. Н. Бенуа ещё не был знаменит.
В 1890-1900-х годах в доме №46 работала японская миссия. В конце 1890-х годов П. Д. Львов продал его Российскому обществу перестрахования. Он продолжал жить здесь, в роскошной квартире, в которой были концертный рояль, орган, бильярд, шкафы с многочисленными предметами искусства. Павел Дмитриевич активно занимался делами юного танцовщика Вацлава Нижинского. Он оплачивал его уроки, долги матери Нижинского, водил Вацлава на симфонические концерты. Такие отношения способствовали возникновению слухов о нечто большем, чем дружбе между 35-летним князем и 17-летним танцовщиком (к 1907 году).
