מודל לוג ליניארי משמש בסטטיסטיקה לבחינת מבנה הקשר בין מספר משתנים איכותיים. המודל הוצג לראשונה בשנות ה-60 של המאה העשרים על ידי איבון בישופ.

יהיו ${\displaystyle X}$ ו-${\displaystyle Y}$ שני משתנים מקריים איכותיים כאשר ללא הגבלת הכלליות המשתנה ${\displaystyle X}$ יכול לקבל את הערכים ${\displaystyle 1,2,...,I}$ והמשתנה ${\displaystyle Y}$ יכול לקבל את הערכים ${\displaystyle 1,2,...,J}$.

נתבונן במדגם בגודל ${\displaystyle n}$ מתוך אוכלוסייה כלשהי, ונסמן ב-${\displaystyle n_{ij}}$ את מספר הפרטים במדגם עבורם ${\displaystyle X=i}$ ו-${\displaystyle Y=j}$. נאמר כי ${\displaystyle n_{ij}}$ היא השכיחות של התצפיות במדגם עבורן ${\displaystyle X=i}$ ו-${\displaystyle Y=j}$. הטבלה שבה יש ${\displaystyle I}$ שורות ו-${\displaystyle J}$ עמודות, ובהצטלבות השורה ה-${\displaystyle i}$ והעמודה ה-${\displaystyle j}$ נמצא המספר ${\displaystyle n_{ij}}$ נקראת לוח השכיחות של המשתנים ${\displaystyle X}$ ו-${\displaystyle Y}$. מכיוון שלטבלה יש שני ממדים (אורך ורוחב) לוח השכיחות הוא דו-ממדי. לוח השכיחות הוא למעשה הנתונים שיש לנתח.

כן נסמן ב-${\displaystyle n_{i.}}$ את מספר הפרטים במדגם עבורם ${\displaystyle X=i}$, וב-${\displaystyle n_{.j}}$ נסמן את מספר הפרטים במדגם עבורם ${\displaystyle Y=j}$.

אם אין לנו שום ידיעה על ההתפלגות המשותפת של ${\displaystyle X}$ ושל -${\displaystyle Y}$, אז ${\displaystyle m_{ij}}$, תוחלת מספר הפרטים במדגם שעבורם ${\displaystyle X=1}$ ו- ${\displaystyle Y=2}$ היא ${\displaystyle m_{ij}=n\cdot P(x=i,Y=j)}$.

אם לעומת זאת נניח כי ${\displaystyle X}$ ו-${\displaystyle Y}$ הם משתנים מקריים בלתי תלויים, אז ${\displaystyle P(X=i,Y=j)=P(X=i)\cdot P(Y=j)}$ לכל ${\displaystyle i}$ ולכל ${\displaystyle j}$, ולכן ${\displaystyle m_{ij}=n\cdot P(X=i)\cdot P(Y=j)}$.

אמדים להסתברויות אלה הם ${\displaystyle {\hat {P}}(X=i)={\frac {n_{i.}}{n}}}$ ו-${\displaystyle {\hat {P}}(Y=j)={\frac {n_{.j}}{n}}}$, ולכן, תחת הנחת אי התלות: $${\displaystyle {\hat {m}}_{ij}=n\cdot {\hat {P}}(X=i)\cdot {\hat {P}}(Y=j)=n\cdot {\frac {n_{i.}}{n}}\cdot {\frac {n_{.j}}{n}}={\frac {n_{i.}\cdot n_{.j}}{n}}}$$

על ידי הפעלת פונקציית הלוגריתם נקבל כי ${\displaystyle \log {\hat {m}}_{ij}=\log n_{i.}+\log n_{.j}-\log n}$.

באגף ימין יש שלושה מחוברים, אחד מהם תלוי ב-${\displaystyle X}$ וב-${\displaystyle i}$, השני תלוי ב-${\displaystyle Y}$ וב-${\displaystyle j}$, והשלישי אינו תלוי במשתנים או בערכים אלא רק בגודל המדגם.

לכן, מודל מתקבל על הדעת עבור אי התלות בין ${\displaystyle X}$ ו-${\displaystyle Y}$ (בהנחה כי היא מתקיימת) הוא: ${\displaystyle \log m_{ij}=\lambda +\lambda _{i}^{X}+\lambda _{j}^{Y}}$ לכל ${\displaystyle i}$ ולכל ${\displaystyle j}$.

אם לעומת זאת המשתנים אינם בלתי תלויים אז השוויון האחרון אינו נכון, והמודל המתאים הוא ${\displaystyle \log m_{ij}=\lambda +\lambda _{i}^{X}+\lambda _{j}^{Y}+\lambda _{ij}^{XY}}$כאשר ${\displaystyle \lambda _{ij}^{XY}\neq 0}$ לפחות עבור זוג ${\displaystyle ij}$ אחד. מודל זה מכונה "המודל הרווי", מכיוון שהוא תמיד מתאים לנתונים התאמה מלאה. הביטוי ${\displaystyle \lambda _{ij}^{XY}}$מבטא את האינטראקציה (יחסי הגומלין) בין ${\displaystyle X}$ ו-${\displaystyle Y}$.

מכאן ש-${\displaystyle X}$ ו-${\displaystyle Y}$ הם בלתי תלויים אם ורק אם ${\displaystyle \lambda _{ij}^{XY}=0}$ לכל ${\displaystyle i}$ ולכל ${\displaystyle j}$.

קל לראות כי כפי שהמודל הרווי הוגדר עבור לוח השכיחות הדו־ממדי, מספר הפרמטרים ${\displaystyle \lambda }$ גדול באופן משמעותי ממספר הנתונים. יתרה מזו, הערכים הנאמדים של ${\displaystyle \lambda }$ אינם יכולים לקבל כל ערך אפשרי מכיוון שניתן לבטא בעזרתם את ההסתברויות ${\displaystyle P(X=i,Y=j)}$ והסתברויות אלה חייבות להסתכם ל-1. גם ההסתברויות ${\displaystyle P(X=i)}$ חייבות להסתכם ל-1 וכן ההסתברויות ${\displaystyle P(Y=j)}$.

לכן יש להשית אילוצים מתאימים על הערכים של ה-${\displaystyle \lambda }$-ות.

מערכת אילוצים אפשרית עבור מודל אי תלות ללוח שכיחות דו־ממדי היא: ${\displaystyle \sum _{i}\lambda _{i}^{X}=0}$ ו- ${\displaystyle \sum _{j}\lambda _{j}^{Y}=0}$. אילוצים אלה הם אנלוגיים לאילוצים ${\displaystyle \sum _{i}P(X=i)=1}$ ו-${\displaystyle \sum _{j}P(Y=j)=1}$. בהינתן אילוצים אלו, למודל יש ${\displaystyle (I-1)(J-1)}$ דרגות חופש.

כדי לאמוד את הפרמטרים של המודל הרווי יש צורף באילוצים נוספים: ${\displaystyle \sum _{i}\lambda _{ij}^{XY}=0}$ לכל ${\displaystyle j}$ ו-${\displaystyle \sum _{j}\lambda _{ij}^{XY}=0}$ לכל ${\displaystyle i}$. בהינתן אילוצים אלה, למודל הרווי יש 0 דרגות חופש. מאילוצים אלה נובע כי השערת אי התלות בין המשתנים ניתנת לניסוח כ-${\displaystyle H_{0}\!:\;\;\lambda _{11}^{XY}=0}$.

אמידת הפרמטרים נעשית בשיטת הנראות המרבית^[1]. לאחר מכן ניתן לבחון את טיב ההתאמה של המודל לנתונים בעזרת מבחן חי בריבוע.

בתוכנת R ניתן לאמוד את הפרמטרים של המודלים הלוג ליניאריים בעזרת הפונקציה loglin הזמינה בחבילת הבסיס של התוכנה.

באופן דומה להגדרת לוח השכיחות הדו־ממדי, נוכל להגדיר את לוח השכיחות התלת־ממדי על ידי האוסף ${\displaystyle n_{ijk}}$, כאשר זהו מספר התצפיות במדגם עבורן ${\displaystyle Z=k}$ ${\displaystyle Y=j}$, ${\displaystyle X=i}$, וכאשר ${\displaystyle X,Y,Z}$ הם משתנים מקריים המקבלים ${\displaystyle I,J,K}$ערכים בהתאמה.

המודל הרווי ללוח שכיחות תלת־ממדי הוא:

ניתן לגזור מודלים שונים עבור ההתפלגות המשותפת של ${\displaystyle Y}$, ${\displaystyle X}$ ו-${\displaystyle Z}$ על ידי איפוס גורמי אינטראקציה.

מודל אי תלות מתקבל על ידי איפוס כל האינטראקציות:

מודל זה מתקבל על ידי איפוס האינטראקציה מסדר 3 ${\displaystyle \lambda _{ijk}^{XYZ}}$, וכן על ידי איפוס ${\displaystyle \lambda _{jk}^{YZ}}$, האינטראקציה בין ${\displaystyle Y}$ ו-${\displaystyle Z}$.

המודל הוא

מודל זה מתקבל על ידי איפוס האינטראקציה מסדר 3 ${\displaystyle \lambda _{ijk}^{XYZ}}$, וכן על ידי איפוס האינטראקציה בין ${\displaystyle X}$ ל-${\displaystyle Y}$ - ${\displaystyle \lambda _{ij}^{XY}}$ והאינטראקציה בין ${\displaystyle X}$ ל-${\displaystyle Z}$ - ${\displaystyle \lambda _{ik}^{XZ}}$.

המודל הוא

על פי מודל זה ${\displaystyle X}$ ו-${\displaystyle Y}$ בלתי תלויים, ${\displaystyle X}$ ו-${\displaystyle Z}$ בלתי תלויים, וגם ${\displaystyle Y}$ ו-${\displaystyle Z}$ בלתי תלויים, אבל ${\displaystyle Y}$, ${\displaystyle X}$ ו-${\displaystyle Z}$ יחדיו אינם בלתי תלויים.

מודל זה מתקבל על ידי איפוס האינטראקציות מסדר 2 אך מותיר את האינטראקציה מסדר 3. המודל הוא

מודל זה מתקבל על ידי איפוס האינטראקציה מסדר 3. למודל אין אינטרפרטציה הסתברותית ברורה. המודל הוא

קיימת חפיפה בין המודל הלוג ליניארי ומודל הרגרסיה הלוגיסטית במובן שבמקרים מסוימים שני המודלים שקולים. נדגים זאת בעזרת לוח שכיחות דו־ממדי מסדר ${\displaystyle 2\times J}$, כלומר המשתנה ${\displaystyle X}$ מקבל שני ערכים והמשתנה ${\displaystyle Y}$ מקבל ${\displaystyle J}$ ערכים.

בהנחה כי ${\displaystyle X}$ ו-${\displaystyle Y}$ בלתי תלויים, מתקיים כי ${\displaystyle P(X=i|Y=j)=P(X=i)}$ לכל ${\displaystyle i}$ ולכל ${\displaystyle j}$, ובפרט יחס הסיכויים של ${\displaystyle X}$ בהינתן ${\displaystyle Y}$ הוא קבוע, כלומר ${\displaystyle \log {\frac {P(X=2|Y=j)}{P(X=1|Y=j)}}=\beta _{0}}$.

על פי המודל הלוג ליניארי לאי תלות:

ואכן, קיבלנו כי לוג יחס הסיכויים אינו תלוי ב-${\displaystyle Y}$. יתרה מזאת, מצאנו כי ניתן לבטא את פרמטר הרגרסיה הלוגיסטית ${\displaystyle \beta _{0}}$ בעזרת הפרמטרים של המודל הלוג ליניארי: ${\displaystyle \beta _{0}=\lambda _{2}^{X}-\lambda _{1}^{X}}$.

כאשר ${\displaystyle X}$ ו-${\displaystyle Y}$ אינם בלתי תלויים, מודל הרגרסיה הלוגיסטית הוא ${\displaystyle log{\frac {P(X=2|Y)}{P(X=1|Y)}}=\beta _{0}+\beta _{1}Y}$ כלומר לוג יחס הסיכויים תלוי ב-${\displaystyle Y}$.

באופן דומה לפיתוח שנעשה עבור מודל אי התלות, נוכל למצוא כי עבור המודל הרווי:

כלומר לוג יחס הסיכויים הוא סכום של שני מחוברים, אחד מהם אינו תלוי ב-${\displaystyle Y}$ והשני תלוי ב-${\displaystyle Y}$.