تعديل - تعديل مصدري - تعديل ويكي بيانات
الانحدار اللوجستي[2] (بالإنجليزية Logistic regression) هو نموذج إحصائي ينتمي لنماذج الانحدار الخطي يمكن من نمذجة متغير ثنائي الحد بدلالة مجموعة من المتغيرات العشوائية المتوقعة، رقمية كانت أو فئوية. يستخدم الانحدار اللوجستي للتنبؤ باحتمالية وقوع حدث ما بمعرفة إضافية لقيم متغيرات يمكن أن تكون مفسرة أو مرتبطة بهذا الحدث.[3][4][5] يستخدم الانحدارُ اللوجستي عدة متغيرات مُتوقَّعة والتي يمكن أن تكون رقمية أو فئوية. يشتهر الانحدار اللوجستي أيضا بتسميات نموذج لوجيت (Logit) أو المصنف العام للأنتروبية. تستعمل هذه النمذجة بشكل واسع في العديد من التطبيقات العلمية والتجارية وهي من طرق النمذجة الأكثر تطبيقا في مجال التعلم الآلي، حيث تصنف ضمن طرق التعلم الآلي المراقب.
الانحدار اللوجستي هو حالة خاصة لمجموعة النماذج الخطية العامة، رغم أنه تاريخيا، تعتبر الأخيرة تعميما لتقنية الانحدار اللوجستي.
يعتبر الطبيب والإحصائي جوزيف بيركسون أول من عرف مفهوم الانحدار اللوجستي وطبقه في مجال الإحصاء الحيوي سنة 1944 ونشرت أول ورقة بحثية يذكر فيها الانحدار اللوجستي باسمه في مجلة الجمعية الإحصائية الأمريكية.[6]
في ما يلي عينة من مجالات تطبيق الانحدار اللوجستي مع الأمثلة:
نموذج الانحدار اللوجستي يحاول تفسير دالة لوجيت المتغير المراد تفسيره بدلالة توليف خطي للمتغيرات المفسرة:
l n P ( Y = 1 / X ) 1 − − --> P ( Y = 1 / X ) = a 0 + a 1 X 1 + . . . + a p X p {\displaystyle ln{\frac {P(Y=1/X)}{1-P(Y=1/X)}}=a_{0}+a_{1}X_{1}+...+a_{p}X_{p}} ، بحيث a i {\displaystyle a_{i}} ( i {\displaystyle i} من 0 إلى p {\displaystyle p} هي معاملات النموذج التي يجب تقديرها).
وهو ما يمكن من تقدير الاحتمال الشرطي حسب الصيغة التالية:
P ( Y = 1 / X ) = e a 0 + a 1 X 1 + . . . + a p X p 1 + e a 0 + a 1 X 1 + . . . + a p X p {\displaystyle P(Y=1/X)={\frac {e^{a_{0}+a_{1}X_{1}+...+a_{p}X_{p}}}{1+e^{a_{0}+a_{1}X_{1}+...+a_{p}X_{p}}}}}
تقدير معاملات النموذج يتم حسب طريقة الإمكانية القصوى (Maximum likelihood estimation):
المقدر A ^ ^ --> {\displaystyle {\widehat {A}}} الذي يحقق القيمة القصوى ل L {\displaystyle L} و L L {\displaystyle LL} أن يمتلك الخصائص التالية:
في المراجع الرياضية للانحدار اللوجستي، وأيضا في البرامج الإحصائية، يستعمل أيضا ما يعرف بالانحراف الراسب (Residual Deviance): D m = − − --> 2 L L ∈ ∈ --> [ 0 , + ∞ ∞ --> [ {\displaystyle D_{m}=-2LL\in [0,+\infty [} وباعتبار هذا المؤشر، يكون المقدر A ^ ^ --> {\displaystyle {\widehat {A}}} هو الذي يحقق القيمة الدنيا ل D m {\displaystyle D_{m}} .
L L {\displaystyle LL} دالة محدبة وبذلك تحتمل حلا وحيدا A ^ ^ --> {\displaystyle {\widehat {A}}} . بخلاف نموذج الانحدار الخطي، لا يمكن إيجاد حل للمقدر بطريقة تحليلية: الحلول المتوفرة هي فقط تجريبية (Heuristic) وأهم الخوارزميات المستعملة في إيجاد المقدر A ^ ^ --> {\displaystyle {\widehat {A}}} هي خوارزمية نيوتن رافسون (Newton-Raphson).
هناك ثلاثة معايير لضبط مآل الخوارزمية (وهي وسائط يمكن ضبطها في البرامج الإحصائية):
H ( A ) {\displaystyle H(A)} مصفوفة هيسية، حيزها ( P + 1 ) × × --> ( P + 1 ) {\displaystyle (P+1)\times (P+1)} وتكمن أهميتها في كون معكوستها تساوي مصفوفة تغاير المعاملات، وهي بذلك حاسمة في مرحلة اختبارات الدلالة الإحصائية للمعاملات. يمكن أيضا كتابتها (باستعمال المصفوفات) على الشكل التالي:
H ( A ) = ( X ′ V X ) − − --> 1 {\displaystyle H(A)={}(X'VX)^{-1}} مع H ( j 1 , j 2 ) = ∑ ∑ --> ω ω --> ( x j 1 × × --> x j 2 × × --> π π --> × × --> ( 1 − − --> π π --> ) ) {\displaystyle H(j_{1},j_{2})=\sum _{\omega }(x_{j_{1}}\times x_{j_{2}}\times \pi \times (1-\pi ))} و V {\displaystyle V} هي المصفوفة القطرية المشكلة من القيم π π --> ( 1 − − --> π π --> ) {\displaystyle \pi (1-\pi )} .
يمكن التعبير عن خوارزمية تقدير المعاملات عبر الكتابة المصفوفاتية حسب الشكل التالي:
A i + 1 → → --> = A i + 1 → → --> + ( t X V X ) − − --> 1 X ( y → → --> − − --> p → → --> ) {\displaystyle {\overrightarrow {A_{i+1}}}={\overrightarrow {A_{i+1}}}+({}^{t}XVX)^{-1}X({\overrightarrow {y}}-{\overrightarrow {p}})} .
يمكن تطبيق تقنية الانحدار اللوجستي في إكسل يدويا (أي بدون استعمال وظائف معرفة قبليا) فقط عبر توليف الأدوات الحسابية المتوفرة واستعمال البرنامج المساعد Solver لإيجاد المقدرات المثلى للنموذج، وذلك عبر اتباع الخطوات التالية:
توفر بيئة آر العديد من المكتبات لتطبيق الانحدار اللوجستي:
glm
stats
lrm
rms
gm_logistic
Rfast
على غرار طرق النمذجة المنحدرة من الانحدار الخطي، يستلزم نموذج الانحدار القيام بمجموعة من عمليات التقييم باستعمال تقنيات الاستدلال الإحصائي لضمان نجاعة النمذجة ولضمان مصداقيتها وضبط قوتها التوقعية. علاوة على المقاربة الإحصائية، يفرض استعمال الانحدار اللوجستي في التعلم الآلي المراقب القيام بطرق تقييم إضافية، تهدف بالأساس إلى ضمان استمرارية النموذج وقابليته للتطور والتغير حسب تطور المعرفة بالمتغيرات المفسرة.
على العموم، تنقسم طرق التقييم إلى صنفين:
التصديق على النموذج يجب أن يستند على تحكيم عقلاني بين مخرجات طرق التقييم.
يجب أن يكون التقييم مرافقا لعملية النمذجة منذ بدايتها، بدءا من التعريف الأولي للمسألة المراد نمذجتها إلى غاية حساب المعاملات وهوامش الخطأ. على العموم، تشمل عملية التقييم المراحل التالية:
يندرج الانحدار اللوجستي ضمن طرق التعلم الآلي المراقب، ومن أهم طرق التقييم في هذا المجال أن تتم مقارنة قوة النموذج الناتج مع نموذج مرجعي يسمى المصنف المرجعي أو البديهي (Default Classifier). النموذج المرجعي هو بكل بساطة نموذج بديهي (Trivial) يفسر Y {\displaystyle Y} دون معرفة بقيم المتغيرات X = ( X 1 , X 2 , . . . , X p ) {\displaystyle X=(X_{1},X_{2},...,X_{p})} ، ويعتبر بذلك نموذجا بدئيا (Null Model) يقتصر فقط على المعامل الثابت a 0 {\displaystyle a_{0}} .
انطلاقا من مبدأ التقتير، أحد المبادئ الأساسية لعلم الإحصاء، يجب أن يكون أي نموذج انحدار مقترح على الأقل أحسن من النموذج المرجعي. يتم التقييم عبر المراحل التالية:
شبه معاملات التحديد يمكن قراءتها أيضا كتقدير لنسبة مساهمة المتغيرات X = ( X 1 , X 2 , . . . , X p ) {\displaystyle X=(X_{1},X_{2},...,X_{p})} في تفسير المتغير Y {\displaystyle Y} . مثلا معامل بقيمة 0.2 يعني أن 80% من الظواهر المفسرة أو المؤثرة في Y {\displaystyle Y} هي مضمرة وأن النموذج المقترح لا يفسر إلا 20 بالمائة من الظاهرة المدروسة. من المهم التأكيد على أن هذا المؤشر لا يحتمل قراءات معاملات التحديد في نموذج الانحدار الخطي (التي يفترض فيها تجاوز مستويات قبول معينة، 0.5 مثلا)، في هذا السياق، يكفي أن يكون غير منعدم (مثلا أكبر من 0.1) لكي يكون النموذج المقترح له قابلية التصديق، بمعنى أنه يفسر المتغير Y {\displaystyle Y} أحسن من النموذج البديهي. في ما يلي أكثر المعاملات استعمالا مع صيغها الرياضية:
التقييم الخارجي لا يرتبط بالطريقة بحد ذاتها، فالتقنيات التالية تستعمل في تقييم طرق تعلم آلي مراقب أخرى وتتمثل في تطبيق النموذج المراد تقييمه على عينات البيانات الأصلية أو أخرى مختلفة، ويتم التصديق على النموذج حسب قوته التوقعية لقيم المتغير المراد تفسيره.
مصفوفة الإرباك هي جدول يواجه القيم الحقيقية ل Y {\displaystyle Y} بالقيم المتوقعة Y ^ ^ --> {\displaystyle {\widehat {Y}}} ، خيث يتم حساب مؤشرات لجودة التوقع ونسبة الخطأ، وأيضا بنية الخطأ الإحصائي للنموذج المقترح. تكون مصفوفة الإرباك على الشكل التالي:
بحيث:
نسبة خطأ النموذج هي نسبة التصنيفات الخاطئة بين أفراد العينة: ϵ ϵ --> = b + c n = 1 − − --> a + d n {\displaystyle \epsilon ={\frac {b+c}{n}}=1-{\frac {a+d}{n}}} وتقابلها نسبة النجاح: θ θ --> = a + d n {\displaystyle \theta ={\frac {a+d}{n}}} .
يلاحظ بأن المؤشرين محايدان بالنسبة للقيم الإيجابية والسلبية. في بعض السياقات، يكون من المهم تقييم النموذج وفق قدرته التوقعية لقيم محددة (مثلا، الإيجابية فقط)، لذلك تم تطوير مؤشرات أخرى لتقييم النماذج حسب دقتها أو حساسيتها أو بتوليف المعيارين معا:
للإشارة، فمقياس فيشر هو متوسط توافقي للدقة والحساسية، فباعتبار α α --> {\displaystyle \alpha } بحيث β β --> 2 = 1 − − --> α α --> α α --> {\displaystyle \beta ^{2}={\frac {1-\alpha }{\alpha }}} : F β β --> = 1 α α --> 1 P r + ( 1 − − --> α α --> ) 1 S e {\displaystyle F_{\beta }={\frac {1}{\alpha {\frac {1}{Pr}}+(1-\alpha ){\frac {1}{Se}}}}}
تحليل مصفوفة إرباك النموذج اللوجستي المقترح لا يجب أن يقتصر فقط على حساب نسبة الخطأ، بل يجب أن يعتمد أولا على الفهم الجيد لطبيعة القيم الإيجابة والسلبية ولوقعها وجسامتها لدى الأفراد الإحصائيين موضوع الدراسة. من صيغ المؤشرات، يلاحظ بأن نسبة الخطأ مؤشر تناظري (يعامل القيمة الإيجابية والسلبية بنفس الطريقة) بينما يميل مؤشرا الحساسية والدقة لتقييم النموذج حسب دقته في توقع القيم الإيجابية، وبالتالي إذا تم تفضيل النماذج حسب معيار الحساسية يتم تقويض معياري الدقة والخصوصية، مما يستلزم دراسة متأنية للمؤشرات تضمن التوازن الأمثل بين مجمل هذه المعايير:
المعيار الأخير يشكل تحديا خاصا مقارنة بالأول، لأن S e {\displaystyle S_{e}} و S p {\displaystyle S_{p}} يتغيران بطريقة متعارضة. إلا أن هذين المؤشرين لديهما ميزة مهمة، من منظور الاستدلال الإحصائي: هما أقل حساسية لطريقة الاعتيان مقارنة بنسبة الخطأ، ولا يفقدان وجاهتهما الإحصائية حتى في حالة العينات الصغيرة أو تلك التي تكون فيها القيم الإيجابية قليلة. بفضل هذه الخاصية، يتستعملان في تعريف مؤشري تقييم مهمين وجامعين هما مؤشر يودن (Youden Index) ومؤشر نسبة الإمكان (Likelihood Ratio):
تعريف الانحدار اللوجستي يبدأ بتعريف الدالة اللوجستية، وهي مثل نظرية الاحتمالات تأخذ قيم بين صفر وواحد.
الدالة اللوجستية مهمة لأنها تأخذ مدخلات من سالب اللانهاية إلى موجب اللانهاية، لكن المخرجات تكون دائما بين الصفر وواحد. المتغير z يمثل المتغيرات المستقلة حيث (ƒ(z تمثل الاحتمال لمخرج معين لمجموعة من المتغيرات المستقلة. المتغير z يقيس مجموع مساهمة جميع المتغيرات المستقلة المستخدمة في هذا النموذج والتي تعرف باللوجت. المتغير z يعرف كالتالي:
هنا β β --> 0 {\displaystyle \beta _{0}} هي نقطة قطع محور العينات، و β β --> 3 {\displaystyle \beta _{3}} ، β β --> 2 {\displaystyle \beta _{2}} ، β β --> 1 {\displaystyle \beta _{1}} ، تسمى معاملات الانحدار. نقطة قطع محور العينات β β --> 0 {\displaystyle \beta _{0}} تساوي z عندما تكون جميع المتغيرات المستقلة تساوي صفر (z لشخص بدون عوامل الخطورة). كل معامل من معاملات الانحدار يمثل حجم عوامل الخطورة. العامل الانحداري الموجب يعني أن المتغير المستقل يزيد احتمال المخرج، وعلى العكس فإن العامل الانحداري السالب يعني أن المتغير المستقل ينقص احتمال المخرج. والعامل الانحداري ذو القيمة الكبيرة يعني أن عامل الخطر يؤثر بشكل كبير على نسبة الاحتمال لهذا المخرج.
الانحدار اللوجستي هي طريقة مفيدة لتوضيح العلاقة بين المتغيرات المستقلة (العمر، الجنس، إلخ.) ومتغير الإجابة أو الاحتمال، وهو يأخذ قيمتين مختلفتين. مثال لشخص شُخص بمرض السرطان فإن القيمتين لمتغير الإجابة تكون إما «سرطان» أو «بدون سرطان».
Lokasi Pengunjung: 3.143.22.249