הקמת הארמון הוזמנה בשנת 1458 על ידי הבנקאי הפלורנטיני העשיר לוקה פיטי, תומכו וידידו של קוזימו דה מדיצ'י. פיטי הורה לבנות את חלונות הארמון בגודל העולה על הכניסה לפאלאצו מדיצ'י. ההיסטוריון בן המאה ה-16ג'ורג'ו וזארי היה סבור שברונלסקי היה האדריכל שתכנן את הארמון, ושהוא הסתייע בתלמידו לוקה פאנצ'לי. כיום סבורים ההיסטוריונים שפאנצ'לי היה האדריכל האחראי על הבנייה (הן בשל ההבדלים בין הסגנונות של האדריכלים, והן לאור העובדה שברונלסקי מת 12 שנים לפני תחילת הבנייה). הארמון שנבנה היה מרשים, אולם היה קטן במידותיו מארמונות משפחת מדיצ'י בפירנצה באותה עת. הארמון נבנה בסגנון פשוט - אבני הארמון נותנות לו מראה חמור סבר, ושבע הקשתות בחזיתו נותנות לו מראה של אמת מים רומאית. סגנון זה תאם את האופנה הנפוצה באותה עת בפירנצה - לבנות בסגנון "עתיק" (all'antica). חזית הארמון המרשימה נותרה כמעט בלא שינוי במהלך השנים.
משפחת מדיצ'י
בשנת 1549 מכר בואונאקורסו פיטי, צאצאו של לוקה פיטי את הארמון ללאונור דה טולדו, רעייתו של קוזימו דה מדיצ'י, דוכס טוסקנה. בטרם עברו לאונור וקוזימו להתגורר בארמון הורה קוזימו לווזארי להגדיל את המבנה. וזארי לא שינה את חזית המבנה אולם הכפיל למעשה את גודלו של הארמון בכך שבנה אגף אחורי למבנה. בנוסף הקים וזארי את מסדרון וזארי - מעבר על קרקעי המקשר בין הארמון לבין הפאלאצו וקיו, מעל הפונטה וקיו ודרך האופיצי. מעבר זה נועד לאפשר לדוכס הגדול ולבני משפחתו לעבור בבטחה בין ארמונותיהם מבלי שהם ייראו על ידי הציבור.
בתקופה שלאחר השיפוץ שימש ארמון פיטי כארמון לאירוח אורחים רשמיים, ובני משפחת מדיצ'י המשיכו להתגורר בפאלאצו וקיו. רק בתקופת שלטונו של בנם של קוזימו ולאונורה, פרדיננדו הראשון דה מדיצ'י, הדוכס הגדול של טוסקנה ורעייתו, כריסטינה מלורן הפך ארמון פיטי לבניין המגורים של בני המשפחה.
משפחת מדיצ'י רכשה את גבעת בובולי בחלקו האחורי של הארמון על מנת להקים בו את גני הארמון- הנקראים כיום גני בובולי. המשפחה העסיקה את אדריכל הנוף ניקולו טריבולו לתכנון הגנים, אולם הוא נפטר בשנה שלאחר העסקתו והגנים נבנו על ידי ברתולומאו אמאנטי.
הרחבת הארמון
בהמשך להקמת הגנים פנה אמאנטי להקמת חצר רחבת ידיים המקשרת בין הארמון לבין הגנים, ובנייה מחודשת של החזית של הארמון הפונה לעבר הגנים. בין השנים 1558–1570 הקים אמאנטי את גרם המדרגות המונומנטלי המוביל אל ה"פיאנו נובילה" (הקומה המרכזית של הארמון), והרחיב את האגפים של הארמון הפונים לגן, על מנת שיקיפו את החצר שנחפרה והיוותה חזית לגנים.
בין השנים 1590–1595 הוקמה בסמוך לארמון, מעבר לגני בובולי, מצודת בלוודרה בתכנונו של ברנרדו בואונטלנטי על ראש הגבעה החולשת על הארמון ועל העיר. המצודה שימשה הן כמקום מקלט בטוח למשפחה בסמוך לארמון, הן כהצהרת עוצמה והן כמקום ממנו ניתן להשקיף ולפקח על העיר. מסדרון וזארי הוארך כדי לקשר את הארמון לווילה שבמרכז המצודה.
בשנת 1616, בעקבות תחרות שנערכה, זכה ג'וליו פאריג'י בהקמת חזית האגפים. העבודה על האגף הצפוני החלה בשנת 1618, ועל האגף הדרומי החלה בשנת 1631 בפיקוחו של אלפונסו פאריג'י.
במהלך המאה ה-18 נבנו שני אגפים אנכיים למבנה המקורי בתכנונו של ג'וזפה רוג'רי על מנת ליצור כיכר בחזית המבנה.
הגלריה שמרה על אופייה הדומה לתצוגת אוסף פרטי ולא לתצוגה מוזיאונית. הציורים מכסים את קירות הגלריה בגבהים שונים, ואינם מוצגים בסדר כרונולוגי או סגנוני כלשהו.
חלק מחדרי הגלריה עוטרו על ידי פייטרו דה קורטונה בסגנון הבארוק. בין חדרים אלה, המעוטרים בציורי פרסקו, ידועים החדרים המכונים "ארבעת עידני האדם" (Quattro età dell'uomo): "עידן הזהב" ו"עידן הכסף" צוירו בשנת 1637. בשנת 1641 נוספו "עידן הברונזה" ו"עידן הברזל". בעקבות הצלחתו בעיטור חדרים אלה, התבקש דה קורטונה לעטר את חמשת החדרים בחזית הקומה המרכזית של הארמון (חדרי קבלת הפנים של הדוכס). דה קורטונה יצר חמישה חדרים הנקראים "חמשת כוכבי הלכת" והם מבוססים על חמשת האלים (על פי המיתולוגיה הרומית המקושרים לכוכבים אלה, על פי מיקומם במערכת השמש על פי תלמי: ונוס (מקושרת לנוגה, אפולו (השמש), מארס (מקושר למאדים), יופיטר (מקושר לצדק) וסטורנוס (מקושר לשבתאי). מאחר שדה קורטונה עזב את פירנצה בשנת 1647, היה זה תלמידו צ'ירו פרי שהשלים את החדרים בשנים שלאחר עזיבתו. חדרים אלה היוו השראה לחדרי כוכבי הלכת בארמון ורסיי שהוזמנו על ידי לואי ה-14, מלך צרפת מאת שארל לה ברון.
חלק זה של הארמון כולל את 14 החדרים בהם נעשה שימוש על ידי משפחת מדיצ'י ויורשיהם כדירות השרד המלכותיות. חדרים אלה שונו במהלך השנים, ועוצבו מחדש לאחרונה במהלך המאה ה-19. החדרים כוללים יצירות אמנות רבות ובהן ציורים של בני משפחת מדיצ'י מעשה ידי הצייר ג'וסטו סוסטרמנס. החדרים מעוטרים בזהב וטפטים, וכן כוללים רהיטים רבים, אולם מדובר בחדרים הקטנים מהחדרים הרשמיים של הארמון. חדרים אלו שימשו כחדרי המגורים של המשפחה, והריהוט כולל את מיטות בני המשפחה.
חדרים אלה היו בשימוש מלכי איטליה עד שנות העשרים, ועוצבו מחדש עבורם. בתקופה זו היו חדרי האירוח שבגלריה הפלטינית חלק מהמוזיאון הציבורי, ולכן חדרים אלה היוו חדרי האירוח הרשמיים של משפחת המלוכה.
הגלריית לאמנות מודרנית
גלריה זו מקורה בעיצוב מחדש שנערך באקדמיה לאמנות של פירנצה בשנת 1748. בעקבות עיצוב מחדש זה הוחלט על הקמת גלריה לאמנות מודרנית, שנועדה להציג את הטובות שביצירות האקדמיה.
בשל מספר היצירות הרב שנצברו, הועברו מרבית היצירות באמצע המאה ה-19 לפאלאצו קרונצ'טה אשר הפך רשמית ל"מוזיאון לאמנות מודרנית".
בעקבות הפיכת הארמון למוזיאון הוחלט לאחד את אוספי האמנות המודרנית בגלריה אחת שתיקרא "גלריית האמנות המודרנית של האקדמיה". גלריה זו גדלה תחת חסותו של המלך ויטוריו אמנואלה השני, ובשנת 1922 עברה לארמון פיטי - משכנה הנוכחי. בתקופה זו נוספו לגלריה יצירות רבות שהיו בבעלות ממשלת איטליה ועיריית פירנצה. הגלריה הנוכחית נפתחה רשמית לציבור בשנת 1928.
במהלך המאה ה-20 גדל האוסף והוא מוצג כיום על פני 30 חדרים בארמון.
על אף שמה, הגלריה מציגה יצירות שהיו מודרניות בעת שנוסדה, היינו יצירות מהמאה ה-17 ועד ראשית המאה ה-20.
מוזיאון הכסף
מוזיאון הכסף, המכונה לעיתים גם "אוצר מדיצ'י" כולל את כלי הכסף והאירוח של משפחת מדיצ'י, ובייחוד כלי האירוח של לורנצו דה מדיצ'י מהמאה ה-15, וכן אוסף של אבנים יקרות למחצה. בנוסף מציג המוזיאון את אוספי הזהב וחפצי הכסף שנרכשו על ידי פרדיננד השלישי, הדוכס הגדול של טוסקנה לאחר שובו מגלותו בשנת 1815.
האוסף מוצג בחדרים ששימשו בעבר את משפחת המלוכה, והם מעוטרים בציורי קיר ובעיטורי זהב מהמאה ה-17. היפים בציורי קיר אלה הם ציורים מעשה ידי ג'ובאני די סן ג'ובאני מהשנים 1635–1636.
מוזיאון החרסינה
מוזיאון זה, שנפתח בשנת 1973 ב-Casino del Cavaliere (בית הפרשים) שבגני בובולי מציג את אוסף כלי החרסינה של הארמון.
האוסף כולל מוצגים מכל רחבי אירופה, ובעיקר מסוורה וממייסן. מוצגים אלה היו במקורם מתנות שהוענקו לדוכסי העיר או כלי חרס שנרכשו עבורם בהזמנה מיוחד על מנת לשמש לאירוח.
גלריית הביגוד
גלריית הביגוד הממוקמת באחד מאגפי הארמון (ב"פאלאצינה דלה מרידיאנה" - Palazzina della Meridiana) מציגה אוסף של תחפושותתיאטרון מהמאה ה-16 ועד ימינו, וכן בגדים המציגים את האופנה באיטליה מהמאה ה-18 ועד ימינו. בין הבגדים המוצגים: בגדי הלוויה של קוזימו הראשון ורעייתו לאונור מטולדו, ובנם גרציה, אשר נפטרו ממלריה. גופותיהם הולבשו בבגדים אלה בעת שהוצגו במהלך הלוויה הממלכתית.
מוזיאון זה, הממוקם בקומת הקרקע של הארמון, מציג את כרכרות הדוכס החל משלהי המאה ה-18 ובמהלך המאה ה-19.
הכרכרות צבועות ומעוטרות במתכות יקרות וזהב. במהלך התהלוכות הרשמיות עשה הדוכס שימוש ב"כרכרת הזהב" (Carrozza d'Oro) המעוטרת בזהב. כמו כן מוצגות במוזיאון כרכרות מלך ממלכת שתי הסיציליות, וכרכרות הארכיהגמון של העיר.
הארמון כיום
כיום מנוהל המוזיאון על ידי "Polo Museale Fiorentino" - ארגון המנהל כ-20 מוזיאון ובהם גלריה אופיצי ואחראי ל-250,000 יצירות האמנות במוזיאוני הארמון השונים.
במסגרת הפיכת הארמון המלכותי למוזיאון נשמר אופיו של המבנה כארמון ואופי החדרים - כחדרי המשפחה המלכותית, והצגת האוספים מוצגת באותו אופן במרבית גלריות המוזיאון, ולא באופן ההצגה המקובל במוזיאונים כיום (הצגת אוספים לפי סגנון או תקופה).
ארגון "Amici di Palazzo Pitti" (חברי ארמון פיטי) הוא ארגון של מתנדבים המסייע לשימור הארמון. הארגון נוסד בשנת 1996, מקיים אירועי התרמה לארמון, ומסייע בשימור האוספים ובהצגתם.