園與小石川後樂園齊名，是留存至今最古老的大名庭園之一。作為典型的“回游式泉水（池）庭園”，以池水為中心的佈局更是園中之傑作。這片土地曾經是海面，經過明歷（1655～1658年）年間的填海，在延寶6（1678）年成為老中・大久保忠朝的府邸。忠朝在修建公館時，特意從自己管轄的藩地小田原召集來了園藝師建造庭園，併命其名為“樂壽園”。
此後又經歷了數人之手，在幕府末期成為紀州德川家的“芝公館”。明治4（1871）年成為有棲川宮家的財產，明治8（1875）年宮內省買下，次年成為“芝離宮”。由於大正12（1923）年的關東大地震，園內幾乎全部的建築物和樹木燒毀。
在次年的大正13（1924）年1月，作為昭和天皇的完婚紀念，下賜於東京市（都）。之後經過庭園的翻修和復原，同年4月對外開放。昭和54（1979）年6月被指定為國家名勝。