בערך זה נעשה שימוש בסימנים מוסכמים מתחום המתמטיקה. להבהרת הסימנים ראו סימון מתמטי.

בסטטיסטיקה, משפט גאוס-מרקוב מספק את ההצדקה המתמטית לשימוש באומד הריבועים הפחותים במסגרת מודל של רגרסיה ליניארית. משפט זה קובע כי תחת הנחות המודל — שגיאות בעלות תוחלת אפס, שונות קבועה ובלתי מתואמות — האומד חסר ההטיה הליניארי הטוב ביותר הוא האומד של שיטת הריבועים הפחותים, במובן זה שהשונות שלו היא הנמוכה ביותר מבין שאר האומדים הליניאריים חסרי ההטיה. למשל אומד ג'יימס-שטיין הוא אומד מוטה ששונותו נמוכה יותר.

ידוע כי המתמטיקאי הגרמני קרל פרידריך גאוס עשה שימוש בשיטת הריבועים הפחותים כבר בשנת 1795, והיא פורסמה על ידו רק בשנת 1809. הוכחה למשפט זה סיפק גאוס בשנת 1823.^[1] המתמטיקאי הרוסי אנדריי מרקוב פרסם בשנת 1912 ספר בו תיאר בפירוט ובדיוק רב יותר את השיטה ותיאר את ההוכחה שלה, ועל כן היא קרויה גם על שמו.^[1]

נניח מודל מהצורה ${\displaystyle \mathbf {y} =X\mathbf {\beta } +\varepsilon }$ בכתיב וקטורי. כלומר, ${\displaystyle \mathbf {y} ,\varepsilon \in \mathbb {R} ^{n},\beta \in \mathbb {R} ^{K},X\in \mathbb {R} ^{n\times K}}$, ואז בכתיב מלא המודל הוא, $${\displaystyle y_{i}=\sum _{j=1}^{K}\beta _{j}X_{ij}+\varepsilon _{i}}$$ עבור ${\displaystyle i=1,\dots ,n}$.

${\displaystyle \beta _{j}}$ הוא פרמטר קבוע לא ידוע שאותו מחפשים; ${\displaystyle X_{ij}}$ הוא ערך קבוע ידוע; ${\displaystyle \varepsilon _{i}}$ הוא משתנה מקרי המתאר את השגיאה או את ה"רעש", וכתוצאה מכך גם ${\displaystyle y_{i}}$ הוא משתנה מקרי.

אומד ליניארי לפרמטר ${\displaystyle \beta _{j}}$ הוא ליניארי במשתנים ${\displaystyle y_{1},\dots ,y_{n}}$, כלומר הוא מהצורה, $${\displaystyle {\widehat {\beta }}_{j}=c_{1j}y_{1}+\cdots +c_{nj}y_{n}}$$ כאשר המקדמים ${\displaystyle c_{1j},\dots ,c_{nj}}$ אינם יכולים להיות תלויים בפרמטר ${\displaystyle \beta _{j}}$, אלא רק בערכים הנצפים ${\displaystyle X_{1j},\dots ,X_{nj}}$ (אך התלות של המקדמים בערכים הנצפים אינה בהכרח ליניארית).

אם ${\displaystyle {\widehat {\beta }}}$ הוא אומד כלשהו, ונסמן בהתאמה ${\displaystyle {\widehat {\mathbf {y} }}_{i}=\sum _{j=1}^{K}{\widehat {\beta }}_{j}X_{ij}+\varepsilon _{i}}$

טבעי לרצות אומד שממזער את סכום ריבועי השגיאות. כלומר, אומד ${\displaystyle {\widehat {\beta }}}$ כזה שממזער את הביטוי, $${\displaystyle \sum _{i=1}^{n}\left(y_{i}-{\widehat {y}}_{i}\right)^{2}}$$

משפט גאוס-מרקוב: אם מתקיימים שלושת התנאים הבאים:

1. ${\displaystyle \mathbf {E} \left[\varepsilon _{i}\right]=0}$ עבור ${\displaystyle i=1,\dots ,n}$.
2. ${\displaystyle \mathbf {Var} \left(\varepsilon _{i}\right)=\sigma ^{2}<\infty }$ עבור ${\displaystyle i=1,\dots ,n}$.
3. ${\displaystyle \mathbf {Cov} \left(\varepsilon _{i},\varepsilon _{j}\right)=0}$ עבור ${\displaystyle i,j=1,\dots ,n;i\neq j}$.

אז האומד שממזער את סכום ריבועי השגיאות הוא אומד הריבועים הפחותים הליניארי, $${\displaystyle {\widehat {\beta }}=\left(X^{T}X\right)^{-1}X^{T}\mathbf {y} }$$ כאשר ${\displaystyle X^{T}}$ היא המטריצה המשוחלפת של ${\displaystyle X}$.

יהי ${\displaystyle {\tilde {\beta }}=C\mathbf {y} }$ אומד ליניארי וחסר הטיה כלשהו. היות שאנו עוסקים באומדים חסרי הטיה, מזעור של סכום ריבועי השגיאות שקול למזעור השונות. אם כך נרצה להראות כי המטריצה ${\displaystyle \mathbf {Var} \left({\tilde {\beta }}\right)-\mathbf {Var} \left({\widehat {\beta }}\right)}$ היא מטריצה חיובית.

נכתוב לצורך הפשטות ${\displaystyle C=\left(X^{T}X\right)^{-1}X^{T}+D}$, עבור מטריצה ${\displaystyle D}$ מגודל ${\displaystyle K\times n}$, ונחשב,

${\displaystyle {\begin{aligned}\mathbf {E} \left[{\tilde {\beta }}\right]&=\mathbf {E} \left[Cy\right]\\&=\mathbf {E} \left[\left((X^{T}X)^{-1}X^{T}+D\right)\left(X\beta +\varepsilon \right)\right]\\&=\left((X^{T}X)^{-1}X^{T}+D\right)X\beta +\left((X^{T}X)^{-1}X^{T}+D\right)\mathbf {E} \left[\varepsilon \right]\\&=\left((X^{T}X)^{-1}X^{T}+D\right)X\beta \\&=(X^{T}X)^{-1}X^{T}X\beta +DX\beta \\&=\left(I_{K}+DX\right)\beta \\\end{aligned}}}$

אם כך, כדי שהאומד ${\displaystyle {\tilde {\beta }}}$ יהיה חסר הטיה, בהכרח מתקיים ${\displaystyle DX=0}$. מכך נובע,

${\displaystyle {\begin{aligned}\mathbf {Var} \left({\tilde {\beta }}\right)&=\mathbf {Var} \left(C\mathbf {y} \right)\\&=C\mathbf {Var} (y)C^{T}\\&=\sigma ^{2}CC^{T}\\&=\sigma ^{2}\left((X^{T}X)^{-1}X^{T}+D\right)\left(X(X^{T}X)^{-1}+D^{T}\right)\\&=\sigma ^{2}\left((X^{T}X)^{-1}X^{T}X(X^{T}X)^{-1}+(X^{T}X)^{-1}X^{T}D^{T}+DX(X^{T}X)^{-1}+DD^{T}\right)\\&=\sigma ^{2}(X^{T}X)^{-1}+\sigma ^{2}(X^{T}X)^{-1}\left(DX\right)^{T}+\sigma ^{2}DX(X^{T}X)^{-1}+\sigma ^{2}DD^{T}\\&=\sigma ^{2}(X^{T}X)^{-1}+\sigma ^{2}DD^{T}\\&=\mathbf {Var} \left({\widehat {\beta }}\right)+\sigma ^{2}DD^{T}\end{aligned}}}$

כאשר המעבר בשורה השביעית הוא כי ${\displaystyle DX=0}$, והמעבר בשורה השמינית הוא כי ${\displaystyle \sigma ^{2}\left(X^{T}X\right)^{-1}=\mathbf {Var} \left({\widehat {\beta }}\right)}$.

לפיכך, היות ש-${\displaystyle DD^{T}}$ היא מטריצה חיובית, נובע כי אכן ${\displaystyle \mathbf {Var} \left({\tilde {\beta }}\right)-\mathbf {Var} \left({\widehat {\beta }}\right)}$ היא מטריצה חיובית, כנדרש.

• רגרסיה ליניארית
• שיטת הריבועים הפחותים