Benutzer:JonskiC/Klassisches lineares Modell

Das multiple lineare Regressionsmodell

${\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}}$

wird „klassisch“ genannt, wenn die folgenden Annahmen gelten

• A1: Die Störgrößen weisen einen Erwartungswert von Null auf: ${\displaystyle \operatorname {E} ({\boldsymbol {\varepsilon }})=\mathbf {0} \ }$. Die wesentliche Voraussetzung an das lineare Modell ist, dass es bis auf den Fehlerterm ${\displaystyle {\boldsymbol {\varepsilon }}}$ das „wirkliche“ Modell beschreibt. Dabei wird in der Regel nicht genau spezifiziert, von welcher Art der Fehler ist; er kann beispielsweise von zusätzlichen Faktoren oder Messfehlern herrühren. Jedoch nimmt man als Grundvoraussetzung an, dass dessen Erwartungswert (in allen Komponenten) 0 ist (${\displaystyle \operatorname {E} ({\boldsymbol {\varepsilon }})={\boldsymbol {0}}}$). Diese Annahme bedeutet, dass das Modell ${\displaystyle \mathbf {y} =\mathbf {X} \mathbf {\beta } }$ grundsätzlich (im Mittel für korrekt gehalten wird und die beobachtete Abweichung als zufällig angesehen wird oder von vernachlässigbaren äußeren Einflüssen herrührt.
• A2: Die Störgrößen sind unkorreliert: ${\displaystyle \operatorname {Cov} (\varepsilon _{i},\varepsilon _{j})=\operatorname {E} [(\varepsilon _{i}-\operatorname {E} (\varepsilon _{i}))((\varepsilon _{j}-\operatorname {E} (\varepsilon _{j}))]=\operatorname {E} (\varepsilon _{i}\varepsilon _{j})=0\quad \forall i\neq j,\;i=1,\ldots ,n,\;j=1,\ldots ,n}$ und weisen eine homogene Varianz auf ${\displaystyle \operatorname {Var} (\varepsilon _{i})=\sigma ^{2}=\mathrm {const.} \quad i=1,\ldots ,n}$. Beides zusammen ergibt: ${\displaystyle {\mbox{Cov}}({\boldsymbol {\varepsilon }})=\sigma ^{2}\mathbf {I} _{T}}$. Über diese grundlegende Annahme hinaus sind grundsätzlich alle Verteilungsannahmen an ${\displaystyle {\boldsymbol {\varepsilon }}}$ erlaubt. Typisch ist die Annahme, dass die Komponenten des Vektors unkorreliert sind und dieselbe Varianz ${\displaystyle \sigma ^{2}}$ besitzen, wodurch sich mit Hilfe klassischer Verfahren wie der Methode der kleinsten Quadrate einfache Schätzer für ${\displaystyle {\boldsymbol {\beta }}}$ und ${\displaystyle \sigma ^{2}}$ ergeben. In der Realität ergeben sich oft Situationen, in denen die Annahme der identisch normalverteilten und unabhängigen Fehler nicht haltbar ist. Dieser Fall liegt vor, wenn einige der unabhängigen Variablen und somit auch die Fehler teilweise korreliert sind. Diese notwendige Abweichung von der Annahme der Unabhängigkeit bringt erhebliche methodische Probleme mit sich, da einige der üblichen Schätzverfahren nicht mehr anwendbar sind.
• A3: Die Designmatrix ist nichtstochastisch und hat vollen Spaltenrang ${\displaystyle {\mbox{Rang}}(\mathbf {X} )=K}$. Wäre die Designmatrix nichtstochastisch, dann müssten Verfahren, wie Regression mit stochastischen Regressoren angewendet werden. Hätte die Designmatrix nicht vollen Rang, dann ließe sich die Matrix nicht invertieren und somit wäre kein KQ-Schätzer berechenbar.

Die Annahmen A1–A3 lassen sich zusammenfassen als ${\displaystyle {\boldsymbol {\varepsilon }}\sim (\mathbf {0} ,\sigma ^{2}\mathbf {I} _{n})}$. Statt die Varianzen und Kovarianzen der Störgrößen einzeln zu betrachten, werden diese in folgender Varianz-Kovarianzmatrix zusammengefasst:

${\displaystyle {\begin{aligned}{\mbox{Cov}}({\boldsymbol {\varepsilon }})&=\operatorname {E} \left(({\boldsymbol {\varepsilon }}-\underbrace {\operatorname {E} ({\boldsymbol {\varepsilon }})} _{=\mathbf {0} \;{\text{aus A1}}})({\boldsymbol {\varepsilon }}-\underbrace {\operatorname {E} ({\boldsymbol {\varepsilon }})} _{=\mathbf {0} \;{\text{aus A1}}})^{\top }\right)=\operatorname {E} ({\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{\top })={\begin{pmatrix}\operatorname {Var} (\varepsilon _{1})&\operatorname {Cov} (\varepsilon _{1},\varepsilon _{2})&\cdots &\operatorname {Cov} (\varepsilon _{1},\varepsilon _{T})\\\\\operatorname {Cov} (\varepsilon _{2},\varepsilon _{1})&\operatorname {Var} (\varepsilon _{2})&\cdots &\operatorname {Cov} (\varepsilon _{2},\varepsilon _{T})\\\\\vdots &\vdots &\ddots &\vdots \\\\\operatorname {Cov} (\varepsilon _{T},\varepsilon _{1})&\operatorname {Cov} (\varepsilon _{T},\varepsilon _{2})&\cdots &\operatorname {Var} (\varepsilon _{T})\end{pmatrix}}\\&{\stackrel {\text{aus A2}}{=}}\sigma ^{2}{\begin{pmatrix}1&0&\cdots &0\\0&1&\ddots &\vdots \\\vdots &\ddots &\ddots &0\\0&\cdots &0&1\end{pmatrix}}_{(T\times T)}=\sigma ^{2}\mathbf {I} _{T}\end{aligned}}}$

Somit gilt für ${\displaystyle \mathbf {y} }$

${\displaystyle \operatorname {E} (\mathbf {y} )=\mathbf {X} {\boldsymbol {\beta }}\quad }$ mit ${\displaystyle \quad {\mbox{Cov}}(\mathbf {y} )=\sigma ^{2}\mathbf {I} _{T}}$.

Wird zusätzlich zum o. g. klassischen linearen Regressionsmodell (kurz: KLRM) vorausgesetzt, dass der Vektor der Störgrößten ${\displaystyle {\boldsymbol {\varepsilon }}}$ mehrdimensional normalverteilt ist, dann spricht man vom klassischen linearen Modell der Normalregression. Dieses Modell kann dann durch

${\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}\;}$ mit ${\displaystyle \;{\boldsymbol {\varepsilon }}\sim {\mathcal {N}}\left(\mathbf {0} ,\sigma ^{2}\mathbf {I} _{T}\right)}$.

beschrieben werden. In diesem Modell lässt sich ferner zeigen, dass die beiden Schätzer Lösungen der Maximum-Likelihood-Gleichungen sind (Satz von Gauß-Markow). In diesem Modell ist die Unabhängigkeit der Fehler dann gleichbedeutend mit der der ${\displaystyle y_{i}}$.