Linearna regresija

Regresija meri odvisnost dveh slučajnih spremenljivk - kakšen vpliv ima ena na drugo.

Na populaciji merimo 2 podatka, zanima nas vrsta odvisnosti med slučajnima spremenljivkama.

Razsevni grafikoni

1. in 2. : linearna regresija

Iščemo krivuljo ki bi se podatkom najboljše prilegala. Če je linearna regresija iščemo premico.

y = k*x+n

Glede na to kako bi krivulja »morala izgledati« začnemo graditi krivuljo ki se bo najbolje prilegala.

Zgledi

Dnevna količina padavin in število gledalcev na nogometni tekmi.
Starost in cena avtomobila.
Število pokajenih cigaret in življenjska doba.

Linearna regresija

1. regresijska premica: $\!Y'=a\cdot X+b=E(Y)+{\frac {K(X,Y)}{D(X)}}(X-E(X))$

Parametra a in b izberemo po metodi najmanjših kvadratov tako, da minimiziramo (pogledamo za vsako meritev koliko daleč navpično (y) leži od premice, vsota kvadratov vseh meritev mora biti čimmanjša).

$\!F(a,b)=\sum _{i=1}^{n}(Y_{i}-Y'_{i})^{2}=\sum _{i=1}^{n}(Y_{i}-a\cdot X_{i}-b)^{2}$

$\!{\frac {\partial F}{\partial a}}(a,b)=0$

$\!{\frac {\partial F}{\partial b}}(a,b)=0$

2. regresijska premica: $\!X'=E(X)+{\frac {K(X,Y)}{D(Y)}}(Y-E(Y))$

Drugo regresijsko premico dobimo tako, da minimiziramo vsoto kvadratov odstopanj v x smeri.

Regresijski premici tipično nista enaki.

$\!Y'={\overline {Y}}+{\frac {{\hat {k}}(X,Y)}{({\hat {s}}(X))^{2}}}(X-{\overline {X}})$

$\!X'={\overline {X}}+{\frac {{\hat {k}}(X,Y)}{({\hat {s}}(Y))^{2}}}(Y-{\overline {Y}})$

Definicija

${\hat {s}}(X)={\sqrt {\frac {\sum (X_{i}-{\overline {X}})^{2}}{n-1}}}$

${\hat {k}}(X,Y)={\frac {\sum (X_{i}-{\overline {X}})(Y_{i}-{\overline {Y}})}{n-1}}$

Trditev: 1. in 2. regresijska premica se sekata v točki (E(X),E(Y))