מקור המשפחה בעיר ארצו ובניה הגיעו למעמד של אוליגרכיה מקומית בפירנצה ושלטו בממשלת הרפובליקה במשך שני דורות. בשנת 1378 ארגנה הגילדה של מנפצי הצמר מרד עממי בשלטון ("מהפכת כפכפי העץ"), משפחת אלביצי, בראש קבוצת משפחות עשירות אחרות, בהן משפחת סטרוצי, שכרה את שירותיו של שכיר החרב הנודע ג'ון הוקווד לדיכוי המרד והפכה לחזקה במשפחות העיר. מעמד המשפחה התחזק עוד ב-1382 לאחר שצבא פירנצה הביס, בסיועו של הוקווד ושכירי החרב שלו, את צבאו של ג'אן גלאצו ויסקונטי והעיר השיגה הסכם שלום עם דוכסות מילאנו החזקה, תוך שימור עצמאותה. ב-1427 הייתה משפחת אלביצי למשפחה העשירה והחזקה בעיר ללא ערעור. למרות שחברי המשפחה היו פטרוני אמנים, הם השקיעו את רוב התקציב העירוני בשכירת חילות שכירי חרב ובמסעות מלחמה נגד לוקה, פיזה, סיינה, מדינת האפיפיור ודוכסות מילאנו.
אבי המשפחה היה מסו דלי אלביצי (1343-1417 ;Maso degli Albizzi). שני בניו היו רינלדו דלי אלביצי (Rinaldo degli Albizzi ;1370–1442) הבכור ולוקה (Luca Albizzi). בעוד שרינלדו היה יריבו של קוזימו דה מדיצ'י ובן בריתה של משפחת סטרוצי, היה לוקה חברו של קוזימו ללימודים ובן בריתו ואף חלק עמו את העניין באמנות.
ב-1433 הצליח רינלדו לשכנע את ראשי הציבור להגלות את קוזימו דה מדיצ'י מהעיר, אך לאחר שפירנצה הפסידה בקרב מול דוכסות מילאנו, ירדה קרנה של משפחת אלביצי. שובו של קוזימו מהגלות זמן קצר לאחר מכן סימן את עלייתו של בית מדיצ'י כשליטי העיר ואת סוף תקופת משפחת אלביצי, שנאלצה לגלות מהעיר. אחיו של רינלדו, לוקה הורשה להישאר בעיר, נשא לאשה בת מדיצ'י ואף הפך לאחד מ"תשעת האזרחים הנכבדים", חבר הממשלה המצומצמת של העיר (Gonfaloniere di Giustizia).
