Участок площадью в 9 га между Фонтанкой и Садовой улицей был подарен Петром I в 1724 году князю Г. Д. Юсупову. Позднее его сын разбил регулярный сад с двумя прудами, каналами и цветниками. В 1730 году на участке построили деревянный одноэтажный дом, проект для которого разработал Доменико Трезини.
В 1790-е годы Н. Б. Юсупов заказал архитектору Джакомо Кваренги переустройство усадьбы. Он перестроил дворец и перепланировал сад.
В 1810 году особняк Юсуповых был продан казне в связи с разводом хозяев. Далее участок передали Управлению путей сообщения России. В парке соорудили оранжереи и фонтаны, вдоль Садовой улицы установили чугунную решетку. На северо-востоке парка были построены теплицы садовода Эйлерса, цветы из них пользовались репутацией лучших в Петербурге.
Весной 1863 года, император Александр Второй распорядился открыть часть Юсуповского сада для публичных посещений. Для этого южная и северная части парка были четко разделены. В южной располагались два пруда с островами, которые соединили между собой цепными мостами, а с берегом - деревянным. Полностью сад открыли для широкой публики в 1863 году. Тогда же в каждой части установили по фонтану.