חיזוק גרדיאנט

Gradient boosting (מילולית: הגברת גרדיאנט) היא טכניקת למידת מכונה המשמשת בין היתר במשימות רגרסיה וסיווג. היא נותנת מודל חיזוי בצורה של תמהיל (ensemble) של מודלי חיזוי חלשים, שהם בדרך כלל עצי החלטה.[1][2] כאשר עץ החלטות הוא הלומד החלש (weak learner), האלגוריתם המתקבל נקרא עצים מחוזקי שיפוע, והוא בדרך כלל מתעלה ביעילותו על יער אקראי (random forest).[1][2][3] מודל עצי-מחוזק שיפוע בנוי בצורה שלבית כמו שיטות boosting אחרות, אבל זה מכליל שיטות אחרות בכך שהוא מאפשר אופטימיזציה של פונקציית הפסד גזירה שרירותיות.

הקדמה לא רשמית

(קטע זה תואם חשיפה של חיזוק שיפוע על ידי Li[4])

בדומה לשיטות חיזוק אחרות, חיזוק שיפוע משלבת "לומדים" חלשים ללומד חזק יחיד בצורה איטרטיבית. המקרה הפשוט ביותר הוא בהגדרת הרגרסיה על ידי קריטריון של ריבועים מינימליים, שבה המטרה היא "ללמד" מודל לחזות את ערכי הצורה על ידי מזעור השגיאה הממוצעת בריבוע , כאשר אינדקסים מעל סט אימונים כלשהו בגודל של ערכים בפועל של משתנה הפלט  :

  • = הערך החזוי
  • = הערך הנצפה
  • = מספר הדגימות ב

כעת, הבה נבחן אלגוריתם להגברת שיפוע עם שלבים. בכל שלב ( ) של הגברת שיפוע, נניח מודל לא מושלם (עבור נמוך, ייתכן שהדגם הזה פשוט יחזור , שבו ה- RHS הוא הממוצע של ). כדי לשפר את , האלגוריתם שלנו צריך להוסיף איזשהו אומדן חדש, . לכן,

או, באופן שווה,

.

לכן, הגברת שיפוע תתאים את h לשארית . כמו בגרסאות חיזוק אחרות, כל מנסה לתקן את השגיאות של קודמו . הכללה של רעיון זה לפונקציות הפסד שאינן שגיאה בריבוע, ולבעיות סיווג ודירוג, נובעת מהתצפית ששאריות עבור מודל נתון שוות ערך (פרופורציונלית) לשיפועים השליליים של פונקציית ההפסד הממוצעת בריבוע (MSE) (ביחס ל ):

.

אז אפשר לכוון בהגברת השיפוע לאלגוריתם של ירידה בשיפוע, והכללה שלו כרוכה ב"חיבור" של הפסד שונה ושל הגרדיאנט שלו.

ראו גם

לקריאה נוספת

  • Boehmke, Bradley; Greenwell, Brandon (2019). "Gradient Boosting". Hands-On Machine Learning with R. Chapman & Hall. pp. 221–245. ISBN 978-1-138-49568-5.

הערות שוליים

  1. ^ 1 2 Piryonesi, S. Madeh; El-Diraby, Tamer E. (2020-03-01). "Data Analytics in Asset Management: Cost-Effective Prediction of the Pavement Condition Index". Journal of Infrastructure Systems (באנגלית). 26 (1): 04019036. doi:10.1061/(ASCE)IS.1943-555X.0000512. ISSN 1943-555X.
  2. ^ 1 2 Hastie, T.; Tibshirani, R.; Friedman, J. H. (2009). "10. Boosting and Additive Trees". The Elements of Statistical Learning (2nd ed.). New York: Springer. pp. 337–384. ISBN 978-0-387-84857-0. אורכב מ-המקור ב-2009-11-10.
  3. ^ Piryonesi, S. Madeh; El-Diraby, Tamer E. (2021-02-01). "Using Machine Learning to Examine Impact of Type of Performance Indicator on Flexible Pavement Deterioration Modeling". Journal of Infrastructure Systems (באנגלית). 27 (2): 04021005. doi:10.1061/(ASCE)IS.1943-555X.0000602. ISSN 1076-0342.
  4. ^ Cheng Li. "A Gentle Introduction to Gradient Boosting" (PDF).