Первым известным владельцем этого участка на Английской набережной был капитан морского флота Валларант. Затем им владел Ричард Козенц, бывший одним из близких Петру I людей и возглавлявший строительство в Адмиралтействе строительство девяти кораблей. Петр I обещал Козенцу возвести здесь дом за счёт казны, но до смерти императора был построен лишь фундамент. Сам же хозяин участка постройкой дома не занимался. В 1733 году императрица Анна Иоанновна потребовала объяснений от Козенца, который напомнил ей об обещании Петра и сообщил об отсутствии собственных средств на строительство. После выплаты Козенцу суммы денег, потраченных на фундамент, участок у него был отобран.
В 1735 году императрица отдала участок двоюродному брату Петра I Александру Львовичу Нарышкину. В 1736-1738 годах он построил здесь типовой жилой каменный дом, в котором обитал сам вместе со своей женой Еленой Александровной, сыновьями Александром, Львом и дочерью Агрофеной. Особняк был построен по всем правилам застройки набережной того времени: главный фасад со стороны Невы, въезд на участок с Галерной улицы. После смерти Александра Львовича домом владела его вдова, а затем и дети.
При Нарышкиных в 1770-х годах дом был расширен, перестроен. Вероятно, автором проекта строительных работ был Ж. Б. Валлен-Деламот, но этому нет документальных подтверждений. Фасад здания является примером раннего классицизма, и таким он стал одним из первых в Петербурге.
В 1812 году особняк был продан герою Отечественной войны 1812 года графу Александру Ивановичу Остерману-Толстому. Новый хозяин активно взялся за перестройку дома, но тому помешала война. В 1813 году граф уехал в действующую армию. Перестройка дома возобновилась в 1817 году. Из воспоминаний современника:
Дом Остермана-Толстого действительно считался в XIX веке одним из самых богатых в Санкт-Петербурге. Каждая его комната была настоящим произведением искусства. Вместе с тем, здесь находились помещения, говорившие о любви графа в различным шуткам и мистификациям. Одна из комнат была облицована распиленными брёвнами так, что походила на русскую избу. В столовой на подставках сидели живые орлы. Во время обедов за спинами гостей стояли дрессированные медведи с алебардами. Окна особняка были цельные, из богемского стекла, стоившие по 700 рублей каждое. А. С. Пушкин в романе "Евгений Онегин" так описал это:
Блестит великолепный дом;
По цельным окнам тени ходят,
Мелькают профили голов
И дам и модных чудаков.
В одном из залов дома Остермана-Толстого находился заранее изготовленный надгробный памятник графу. Он изображался на нём лежащим, с левой рукой на барабане, в корпус которого были вставлены часы, показывающие время ранения в руку. На них надпись по латыни: "Видит час, но не знает час того часа, в который человека постигнет известная учесть". В августе 1813 года граф был ранен в руку, которую ампутировали, использовав при этом в качестве операционного стола барабан.
На приёмах в доме Остермана-Толстого бывали писатели, художники, артисты.
Особняк на Английской набережной был продан 29 октября 1837 года. Его купила у графа за 400 000 рублей графиня Варвара Александровна Полье, которая к тому времени арендовала этот особняк уже 5 лет. В 1867 году дом Остермана-Толстого перешёл во владение к Воронцовым-Дашковым. Но пользовалась им эта семья уже в 1840-х годах, когда давала здесь балы. Именно с 1840-х годов этот особняк известен как дом Воронцовых-Дашковых, который первоначально был у них в аренде.
В 1858-1864 годах в доме Воронцовых-Дашковых была перестроена парадная лестница, к западному дворовому флигелю было пристроено полуциркульное помещение для церкви. Работы проводились по проекту архитектора Людвига Петровича Феррацини. Тогда же изменился и Белый зал, самый большой в особняке.
6 ноября 1868 года в доме произошёл сильный пожар, в результате которого сгорела почти половина помещений. Их восстановлением занимался архитектор Людвиг Францевич Фонтана.
До нашего времени в доме Воронцовых-Дашковых сохранились вестибюль, парадная лестница, два зала на втором этаже (в том числе Белый зал), кабинет, детские комнаты, гостиные.
Особняк Воронцовых-Дашковых принадлежал им до 1917 года. В дальнейшем его занимали различные учреждения. В 1934 году здесь работало Ленинградское отделение Всесоюзной торговой палаты. С 1988 года здесь размещалось АО "Технохим".
