园与小石川后乐园齐名，是留存至今最古老的大名庭园之一。作为典型的“回游式泉水（池）庭园”，以池水为中心的布局更是园中之杰作。这片土地曾经是海面，经过明历（1655～1658年）年间的填海，在延宝6（1678）年成为老中・大久保忠朝的府邸。忠朝在修建公馆时，特意从自己管辖的藩地小田原召集来了园艺师建造庭园，并命其名为“乐寿园”。
此后又经历了数人之手，在幕府末期成为纪州德川家的“芝公馆”。明治4（1871）年成为有栖川宫家的财产，明治8（1875）年宫内省买下，次年成为“芝离宫”。由于大正12（1923）年的关东大地震，园内几乎全部的建筑物和树木烧毁。
在次年的大正13（1924）年1月，作为昭和天皇的完婚纪念，下赐于东京市（都）。之后经过庭园的翻修和复原，同年4月对外开放。昭和54（1979）年6月被指定为国家名胜。