Расположенный в восточной самой высокой части острова он издалека привлекает к себе внимание. В отличие от других дворцов этого времени, Елагиноостровский дворец являлся летней резиденцией, рассчитанной на сезонное пребывание там гостей. Он задумывался как место отдыха вдовствующей императрицы Марии Федоровны, альтернативное Павловску. Эти особенности отразились в планировке и декоративном оформлении интерьеров.
До 1917 года дворец принадлежал императорской семье. После революции 1917 года дворец перешел в ведение Петроградского Совнаркома. С 1918 по 1929 год Елагиноостровский дворец становится Музеем истории и быта. Его коллекция не только сохраняется, но и пополняется предметами из расформированных дач на Каменном и Крестовском островах. В 1930 году дворец был закрыт, коллекция разрознена, некоторые произведения переданы в фонды Эрмитажа, Русского музея, Гатчинского дворца, другие проданы через внутренние и внешнеторговые организации. Некоторое время после расформирования в здании Елагиноостровского дворца располагался филиал Института растениеводства Академии наук.
Во время Великой Отечественной войны дворец сильно пострадал: в результате пожара в начале 1942 года погибли интерьеры, обрушилась кровля и межэтажные перекрытия. После войны, учитывая огромную художественную ценность ансамбля России, были начаты восстановительные работы. Сначала предполагалось перестроить дворец под здание для танцев и игр Центрального парка культуры и отдыха. После изучения и систематизации исторических материалов было принято решение восстановить исторический облик дворца и парадных залов первого этажа. С 1952 по 1960 год продолжались реставрационные работы.