تاسست حديقة فيلهارموني عام 1830.[2]
توسعت أراضي الحديقة في عقدي ستينات وسبعينات القرن التاسع عشر. سميت في بادئ الأمر باسم قوبيرناتور؛ ثم سمّيت «حديقة ميخيلوسكي».
في بداية القرن العشرين، كان ثمة خطة لبناء قاعة للحفلات الموسيقية في ساحة الحديقة، ولكن ذلك كان يستلزم قطع الأشجار ما أدى إلى الاعتراض على الأمر. بدلاً من ذلك تم بناء جناح صيفي في الحديقة.
تمّ ترميم الحديقة في عام 1970.
بنيت نافورة في الحديقة صممتها شركة «إنتر الفن» الفرنسية. حيث لعبت الموسيقى الكلاسيكية لأول مرة فقط في حديقة الفلهارمونية في باكو.