Дом вице-адмирала голландца Корнелия Ивановича Крюйса появился на берегу Невы одним из первых. Его чертёж был составлен лично Крюйсом в апреле-мае 1705 года. Его он передал коменданту Олонецкой верфи Ивану Яковлеву, ответственному в то время за строительство в Петербурге. Последний писал заказчику:
Первый деревянный дом (хоромы) Крюйса в Санкт-Петербурге располагался на участке, который ныне занимают южный павильон Малого Эрмитажа и западная часть Нового Эрмитажа. К северу от него находился низкий и часто затопляемый берег Невы. Хоромы представляли из себя одноэтажное здание на высоком цоколе. К реке выходил главный корпус, от которого вглубь участка отходило два дворовых корпуса. На соседнем участке летом 1705 года был построен дом адмирала Апраксина. От него, вдоль главного фасада дома Крюйса была проложена Средняя улица, параллельная берегу Невы.
Крюйс требовал завершить строительство как можно скорее. Например, соседний деревянный дом адмирала Апраксина был выстроен за лето 1705 года. Хоромы Крюйса же к 31 июля были готовы лишь наполовину. В конца августа Яковлев докладывал заказчику о скором завершении работ. Однако, в сентябре стройка остановилась. К этому времени в Петербург из Кроншлота прибыл сам Крюйс. Так как тогда ему пришлось срочно снабдить жильём адмиралтейских мастеров, то, боясь царского гнева, он готов был подождать ради этого даже со строительством собственного дома. 8 октября он просил Яковлева: "а буде лесу нет ты позволь хотя строение дому моего остановить". 18 декабря Крюйс приказал князю Роману Мещерскому и Семёну Степанову: "виц-адмиральские хоромы велить достраивать с великим поспешанием, дабы сей дом в готовности был к концу генваря месяца (двадцатым числом) 706 году". Последний раз он подгонял строителей 21 марта 1706 года: "На новый виц-адмиральский двор для крышки хором прислать тысячу скал". Скалой тогда называли древесную (обычно берёзовую) кору, которая для предотвращения течи прокладывалась между двумя слоями тёса на кровле.
Главный корпус дома Крюйса имел 18 окон, заполненных мелкоразмерной слюдой на голландский манер. Вдоль него была оборудована галерея, которая, вероятно, напоминала хозяину капитанский мостик. В центре располагалась широкая двустворчатая дверь, гнад которой находилась необычная для избы полукруглая фрамуга. Через неё освещались проходные сени. Из сеней можно было пройти в анвиладу парадных помещений или во двор, который также был снабжён обходной галереей. Помещения по одну сторону от сеней являлись мужской половиной, по другую - женской. Жилые покои отапливались полукруглыми голландскими печами. Две из них топились из сеней, остальные - через дворовые галереи. Дом венчала высокая двухскатная крыша, покрытая тёсом.
Дом Крюйса был одним из центров общественной жизни только что зародившегося города. Здесь часто бывла Пётр I, проводились знаменитые ассамблеи и заседания адмиралтействого совета, решались тяжбы жителей Адмиралтейского острова.
Считается, что уже в 1710 году здесь была открыта лютеранская церковь Святого Петра - адмирал являлся руководителем лютеранской общины Санкт-Петербурга. При церкви работала немецкая школа. Храм сразу после смерти Крюйса переместился на Невский проспект и стал немецким собором Святого Петра, а школа - известна до сих пор как "Петришуле". В книге С. С. Шульца "Невская перспектива" упоминаются все эти сведения, но кроме них автор приводит и противоречащие им. Он пишет, что в мае 1723 года Пётр I за постройку и удачный спуск 74-пушечного корабля "Михаил" помог Крюйсу со строительством на этом участке каменного дворца. Царь приказал сломать стоявшие здесь каменную кузницу и горн и перевести их на Смольный двор [3, с. 102]. Быть может речь идёт о перестройке уже существующего здания? Как-бы то ни было, адмирал скончался в этом доме 3(14) июня 1727 года.
