Участки домов №38 и 40 по Большой Морской улице в начале XVIII века представляли собой единое владение. К 1741 году здесь под присмотром архитектора Земцова был построен каменный дом обер-прокурора Сената Ивана Онуфриевича Брылкина. Он представлял из себя два здания, стоявших вплотную друг к другу. Оба они были одноэтажными на высоких подвалах, шириной в восемь осей. Центральные два окна выделялись ризалитом. Крыша левого дома была чуть выше.
В 1745 году Брылкин был назначен губернатором в Астрахань и решил продать участок. К 1747 году его правая часть (дом №40) числилась за обер-секретарём Сената Матвеем Козьминым. Левая часть (дом №38) с того времени стала принадлежать другим людям. После кончины Козьмина в 1764 году территория отошла его сыну Сергею Матвеевичу. В 1779 году он заложил участок Воспитательному дому. Доход от заклада тратился на воспитание детей. К этому времени участок был застроен как со стороны Большой Морской улицы, так и со стороны Мойки.
После смерти Сергея Матвеевича в 1788 году, участок достался его племяннику надворному советнику Александру Николаевичу Дурасову, от которого он перешёл в 1791 году жене ревельского купца Фомы Гепнера Екатерине Павловне. С конца 1790-х годов и до 1809 года им владел сам купец Гепнер. С конца XVIII века часть территории со стороны Мойки принадлежала другим хозяевам. Ими были купец Демутье, в 1822 году - супруга статского советника Воеводского.
В 1820 году дом №40 по Большой Морской улице принадлежал коллежскому асессору Ивану Ивановичу Сутгофу, который спустя два года продал его полковнику Алексею Васильевичу Собакину. К 1836 году зданием распоряжалась тайная советница графиня Завадовская, вдова владельца дома №20. В следующем году хозяином здесь был "булочный мастер" Егор Иванович Штраух. Именно ему было позволено надстроить на доме ещё два этажа, а также расширить его за счёт территории справа от дома, где ранее располагались въездные ворота.
В 1850-х годах дом №40 занимали "бандажист В. Бардов", изготовитель дорожных товаров (чемоданов, дорожных кроватей, шляп) И. Ф. Ронштадт, фабрика музыкальных инструментов Ю. Ф. Циммермана (до переезда в дом №34). В 1869 году у отставного поручика Штрауха участок приобрёл статский советник Яков Карлович Шульц. При нём строительные работы в здании производил архитектор Карл Карлович Шульц, вероятно брат Якова.
У дочерей Шульца Глафиры, Анны и Натальи в 1898 году участок выкупило за 300 000 рублей "Российское страховое от огня общество", ставшее вскоре именоваться "Первое Российское страховое общество". Приобретя этот дом, общество расширило свою территорию, так как к тому времени оно уже владело зданием со стороны Мойки (дом №85), перестроенным под его нужды Л. Ф. Шперером в 1882-1885 годах. Новое здание со стороны Большой Морской улицы было построено в 1899-1900 годах по проекту Леонтия Николаевича Бенуа, при участии Ю. Ю. Бенуа. Цоколь и портал здания был облицован полированным красным гранитом, первый этаж - розовым гранитом, верхние этажи - розовато-жёлтым песчаником.
Управляющий делами Общества был Александр Александрович Амбургер, чьи предки владели на Большой Морской улице домом №15.
В 1926 году здесь был открыт Индустриальный политехникум. В 1930-х годах он назывался Ленинградским строительным техникумом №1, после войны был объединён с Архитектурным техникумом. Сейчас здесь размещён архитектурно-строительный колледж. В колледже имеется старинный кабинет физики, оборудование которого когда-то принадлежало Александровскому лицею (Каменноостровский пр. 21). Часть приборов в 1974 году была передана в музей "Царскосельский лицей".
