Regresi linear sederhana

Dalam statistika, regresi linear sederhana adalah model regresi linear yang hanya memiliki satu peubah bebas. Secara konvensional, pada sistem koordinat Kartesius model ini digambarkan sebagai suatu garis lurus, di mana sumbu x mewakili peubah bebas dan y peubah acak terikat. Peubah terikat y ini kadang-kadang juga disebut sebagai respon. Model regresi linear yang memerlukan lebih dari satu peubah bebas disebut sebagai regresi linear darab.^[1]

Tinjau suatu peubah bebas x dan peubah terikat (respon) y. Pada model regresi linear sederhana, hubungan antara x dan y dinyatakan sebagai berikut: $${\displaystyle {\hat {y}}=a+bx}$$ di mana ${\textstyle a}$ dan ${\displaystyle b}$ adalah koefisien regresi yang akan ditentukan dari data. Sementara itu, ${\displaystyle {\hat {y}}}$ adalah prediksi atau taksiran nilai peubah terikat ${\displaystyle y}$ untuk suatu nilai ${\displaystyle x}$. Umumnya nilai taksiran ini akan berbeda dengan nilai amatan/percobaan yang sesungguhnya.

Tiap pasangan pengamatan ${\textstyle (x_{i},y_{i})}$ memenuhi hubungan $${\displaystyle y_{i}=a+bx_{i}+e_{i}}$$ Di mana ${\textstyle e_{i}=y_{i}-{\hat {y_{i}}}}$ disebut sebagai sisa. Sisa ini mendeskripsikan galat kecocokan antara model regresi linear pada titik data ke-i.

Menghitung a dan b dapat dilakukan dengan metode kuadrat terkecil. Pada metode ini, dicari a dan b sedemikian sehingga jumlah kuadrat sisa diminimumkan. Jumlah ini sering disebut sebagai jumlah kuadrat galat.

JKG dirumuskan sebagai $${\displaystyle JKG=\sum _{i=1}^{n}e_{i}^{2}=\sum _{i=1}^{n}(y_{i}-{\hat {y_{i}}})^{2}=\sum _{i=1}^{n}(y_{i}-a-bx_{i})^{2}}$$

JKG adalah fungsi dari a dan b. Untuk meminimumkan JKG, dicari turunan JKG terhadap a dan b yang kemudian disamakan dengan nol:

${\displaystyle {\frac {\partial {JKG}}{\partial a}}=-2\sum _{i=1}^{n}(y_{i}-a-bx_{i})=0}$

${\displaystyle {\frac {\partial JKG}{\partial b}}=-2\sum _{i=i}^{n}(y_{i}-a-bx_{i})x_{i}=0}$

Dengan menyusun ulang persamaan tersebut koefisien regresi a dan b dapat dihitung.