Lineare Regression – online lernen

Korrelation

Die Korrelation (von lat. correlatio für „Wechselbeziehung“) beschreibt den Zusammenhang zwischen zwei oder mehreren Ereignissen, Merkmalen etc. Hierbei interessiert nicht nur, ob zwei oder mehrere Elemente eines Systems zusammenhängen, sondern auch wie stark dieser Zusammenhang ist. Wichtig ist, zu verstehen, dass eine Korrelation nicht zwingend eine „Ursache & Wirkung“-Beziehung beschreibt. Eine starke Korrelation bedeutet nicht zwangsläufig, dass das eine Element des betrachteten Systems das andere bedingt.

Beispiel: Im Winter werden mehr Heißgetränke (Tee, Kakao, Kaffee) konsumiert als im Sommer. Außerdem treten im Winter mehr Erkältungen auf.

a) Gibt es eine Korrelation zwischen dem erhöhten Konsum von Heißgetränken und der erhöhten Anzahl an Erkältungen?

• Ja, statistisch scheint ein Zusammenhang vorzuliegen.

b) Liegt eine „Ursache & Wirkung“-Beziehung vor?

• Nein, man kann nicht folgern, dass der Konsum von Heißgetränken Erkältungen zur Folge hat.
  

Bemerkung: Die Messgrößen (Heißgetränkkonsum und Erkältung) hängen hier über eine dritte Größe kausal zusammen, und zwar über die kälteren Temperaturen im Winter, welche sowohl den Konsum von Heißgetränken anregt, als auch Erkältungen begünstigt.

Wichtig: Das wohl bekannteste Maß, mit dem man solche Zusammenhänge misst, ist der Korrelationskoeffizient (von Bravais-Pearson). Diesen zu berechnen, erfordert allerdings Methoden der höheren Statistik und ist nicht Gegenstand des Schulunterrichts.

Lineare Regression

Unter linearer Regression versteht man ein mathematisches Verfahren, um eine Gerade möglichst genau an gegebene Messwerte anzupassen. Ein genaues Verfahren soll hier nicht Thema sein, da man dafür Methoden der höheren Mathematik benötigen würde. Ein anschauliches Beispiel soll aber gegeben werden.

Beispiel: Wie könnte eine Regressionsgerade zu den Punkten A(2|1)$A(2|1)$, B(2,5|2)$B(2,5|2)$ und C(4,5|2)$C(4,5|2)$ aussehen?

Wenn man möchte, kann man nun ein Maß für die Qualität dieser Gerade finden. Dazu geht man wie folgt vor:

• Für jeden gegebenen x-Wert berechnen wir mit Hilfe der Geradengleichung einen y-Wert.
• Für jeden gegebenen Punkt wird die Differenz des gegebenen y-Wertes mit dem berechneten y-Wert bestimmt.
• Um negative Differenzen nutzbar zu machen und den einzelnen Werten mehr Gewichtung zu geben, werden die Differenzen quadriert.
• Die quadratischen Abweichungen werden nun aufaddiert. Je kleiner der Wert, desto besser die Regressionsgerade.

In diesem Beispiel wäre die Summe der quadratischen Abweichungen 0,36+0,0625+0,1225=0,545$0,36+0,0625+0,1225=0,545$. Kein schlechter Wert, aber es geht noch besser. Die ideale Regressionsgerade würde lauten: y=0,29x+0,81$y=0,29x+0,81$. Diese zu bestimmen, ist mit Mitteln der Schulmathematik jedoch nicht möglich.

Satz von Bayes

Vorbemerkung: Vorab sollte das Wiki zum Satz der totalen Wahrscheinlichkeit gelesen und nachvollzogen werden.

Theorem: (Satz von Bayes) Sei Ω$\mathrm{\Omega }$ ein Ergebnisraum und seien B1,B2,...,Bi$B_1,B_2,...,B_i$ eine Zerlegung von Ω$\mathrm{\Omega }$, d.h. B1∪B2...∪Bi=Ω$B_1\cup B_2...\cup B_i=\mathrm{\Omega }$ (d.h. die B’s sind Teilmengen von Ω$\mathrm{\Omega }$, die vereinigt insgesamt wieder Ω$\mathrm{\Omega }$ ergeben) und Bi∩Bj=O$B_i\cap B_j=O$ für i=j$i=j$, dann gilt für jedes Ereignis A$A$ mit P(A)>0$P(A)>0$ und jedes Bi$B_i$ aus der Zerlegung:

• P(Bi|A)=P(A|Bi)⋅P(Bi)P(A|B1)⋅P(B1)+P(A|B2)⋅P(B2)+...+P(A|Bi)⋅P(Bi)$P(B_i|A)=\frac{P(A|B_i)\cdot P(B_i)}{P(A|B_1)\cdot P(B_1)+P(A|B_2)\cdot P(B_2)+...+P(A|B_i)\cdot P(B_i)}$

Da der Satz von Bayes und der Satz der totalen Wahrscheinlichkeit die gleichen Voraussetzungen haben, kann auf den Ausdruck im Nenner der Satz der totalen Wahrscheinlichkeit angewendet werden. Der Term im Nenner ist genau derjenige, den der Satz der totalen Wahrscheinlichkeit als P(A)$P(A)$ bezeichnet, also folgt:

• P(Bi|A)=P(A|Bi)⋅P(Bi)P(A)$P(B_i|A)=\frac{P(A|B_i)\cdot P(B_i)}{P(A)}$

Wir sehen also, dass zur erfolgreichen Anwendung des Satzes von Bayes zunächst der Satz der totalen Wahrscheinlichkeit benötigt wird.

Beispiel: Ausgehend von den gleichen Urnen und den gleichen Ereignissen wie im Beispiel zum Satz der totalen Wahrscheinlichkeit: Es wurde eine schwarze Kugel gezogen. Mit welcher Wahrscheinlichkeit stammt sie aus Urne Uj$U_j$?

Gefragt ist nach dem Ereignis P(Bj|A)$P(B_j|A)$. 

Mit dem Satz von Bayes folgt: 

P(Bj|A)=P(A|Bj)⋅P(Bj)P(A|B0)⋅P(B0)+P(A|B1)⋅P(B1)+...+P(A|B5)⋅P(B5)$P(B_j|A)=\frac{P(A|B_j)\cdot P(B_j)}{P(A|B_0)\cdot P(B_0)+P(A|B_1)\cdot P(B_1)+...+P(A|B_5)\cdot P(B_5)}$

P(Bj|A)=P(A|Bj)⋅P(Bj)P(A)$P(B_j|A)=\frac{P(A|B_j)\cdot P(B_j)}{P(A)}$

P(Bi|A)=j5⋅1612=j15$P(B_i|A)=\frac{\frac{j}{5}\cdot \frac{1}{6}}{\frac{1}{2}}=\frac{j}{15}$

Demnach ist die Kugel mit einer Wahrscheinlichkeit von j15$\frac{j}{15}$ aus Urne j$j$. Für Urne U3$U_3$ wäre es also z.B.: 

P(B3|A)=315=15$P(B_3|A)=\frac{3}{15}=\frac{1}{5}$

Mittlere lineare Abweichung

Die mittlere lineare Abweichung e$e$ einer Menge von Datenwerten gibt an, wie sehr die einzelnen Werte vom Mittelwert abweichen. Sie ermöglicht es, verschiedene Stichproben miteinander zu vergleichen.

Um die mittlere lineare Abweichung zu bestimmen, muss man folgendermaßen vorgehen:

• Man bestimmt das arithmetische Mittel x¯¯¯$\overline{x}$ (den Mittelwert) der Daten.
• Man berechnet für jeden Datenwert den Betrag der Differenz zum Mittelwert.
  (Betrag bedeutet, dass man bei negativen Ergebnissen das Minus weglässt.)
• Man bestimmt das arithmetische Mittel dieser Beträge. Das Ergebnis ist die gesuchte mittlere lineare Abweichung.

Es ist dabei sinnvoll, sich die Daten in einer Tabelle anzuordnen.

Als Beispiel dient die Datengruppe 2,4,6,6,8,16$2,4,6,6,8,16$.

Mittelwert:  x¯¯¯=2+4+6+6+8+166=7$\overline{x}=\frac{2+4+6+6+8+16}{6}=7$ 

Mittlere lineare Abweichung:

e=5+3+1+1+1+96=206=3,3¯¯¯$e=\frac{5+3+1+1+1+9}{6}=\frac{20}{6}=3,\overline{3}$

Zusatzinfo:
Als Formel fasst man die mittlere lineare Abweichung mit Hilfe des Summenzeichens ∑$\sum _{}^{}$ zusammen. Die einzelnen Datenwerte heißen xi$x_i$.

Für n$n$ Datenwerte lautet die Formel damit

Mittlere quadratische Abweichung

Die mittlere quadratische Abweichung einer Menge von Datenwerten gibt an, wie sehr die einzelnen Datenwerte vom Mittelwert abweichen. Man nennt sie auch Varianz (V$V$). Sie ermöglicht es, verschiedene Stichproben miteinander zu vergleichen.

Um die Varianz zu bestimmen, muss man folgendermaßen vorgehen:

• Man bestimmt das arithmetische Mittel x¯¯¯$\overline{x}$ (den Mittelwert) der Daten.
• Man berechnet für jeden Datenwert die Differenz zum Mittelwert.
• Man nimmt jede dieser Differenzen zum Quadrat.
• Man bestimmt das arithmetische Mittel dieser Quadrate. Das Ergebnis ist die gesuchte Varianz.

Es ist dabei sinnvoll, sich die Daten in einer Tabelle anzuordnen.

Als Beispiel dient die Datengruppe 2,4,6,6,8,16$2,4,6,6,8,16$.

Mittelwert:  x¯¯¯=2+4+6+6+8+166=7$\overline{x}=\frac{2+4+6+6+8+16}{6}=7$ 

 
Varianz: V=25+9+1+1+1+816=1186=19,6¯¯¯$V=\frac{25+9+1+1+1+81}{6}=\frac{118}{6}=19,\overline{6}$

Zusatzinfo:
Als Formel fasst man die Varianz mit Hilfe des Summenzeichens ∑$\sum _{}^{}$ zusammen. Die einzelnen Datenwerte heißen xi$x_i$.

Für n$n$ Datenwerte lautet die Formel damit