Benutzer:P. Birken/Skizze

Hauptartikel: Regressionsanalyse Weicht man die starken Anforderungen im Verfahren an die Beobachtungsfehler auf, erhält man so genannte verallgemeinerte Kleinste-Quadrate-Ansätze. Wichtige Spezialfälle haben dann wieder eigene Namen, etwa die gewichteten kleinsten Quadrate, bei denen die Fehler zwar weiter als unkorreliert angenommen werden, aber nicht mehr von gleicher Varianz. Dies führt auf ein Problem der Form

${\displaystyle \|D(Ax-b)\|_{2}.}$

Variieren die Varianzen stark, so haben die entsprechenden Normalgleichungen eine sehr große Kondition, weswegen das Problem direkt gelöst werden sollte.

Nimmt man noch weiter an, dass die Fehler in den Messdaten auch in der Modellfunktion berücksichtigt werden sollten, ergeben sich die "totalen kleinsten Quadrate" in der Form

${\displaystyle \min _{E,r}\|(E,r)\|_{F}}$, ${\displaystyle (A+E)x=b+r,}$

wobei ${\displaystyle E}$ der Fehler im Modell und ${\displaystyle r}$ der Fehler in den Daten ist.

Schließlich gibt es noch die Möglichkeit, keine Normalverteilung zugrunde zu legen. Dies entspricht beispielsweise der Minimierung nicht in der euklidischen Norm, sondern der 1-Norm.

Alternativer Vorschlag:

Im Modell der gewichteten kleinsten Quadrate werden die quadrierten Residuen passend gewichtet, so dass man als Ansatz

${\displaystyle \|D(Ax-b)\|_{2}.}$

erhält. Dieser Ansatz ist ein Ergebnis des verallgemeinerten, oder auch generalisiert genannten, linearen Modells. Man erhält es, wenn man statt der Annahme stochastisch unabhängiger normalverteilter Störvariablen mit gleicher Varianz eine Verteilung der Exponentialfamilie, wie etwa die Binomialverteilung zulässt. Dies ermöglicht beispielsweise die Modellierung der abhängigen Variablen als Indikatorvariable, die nur die Werte 0 und 1 annehmen kann. Aber auch die Verwendung normalverteilter Störvariablen mit beliebiger Kovarianzmatrix ${\displaystyle \Sigma }$ wird durch das generalisierte Modell abgedeckt. Die folgenden Abschnitte geben Beispiele für den gewichteten Ansatz:

Die n Störvariablen haben eine nxn-Kovarianzmatrix ${\displaystyle \Sigma }$, die positiv definit ist. Es ergibt sich hier für das GLS-Problem (GLS = generalized least squares)der Vektor der Regressionskoeffizienten

${\displaystyle x=(A^{T}\Sigma ^{-1}A)^{-1}(A^{T}\Sigma ^{-1}b)}$

als Lösung des Kleinst-Quadrate-Problems. Diese Lösung wird verallgemeinerter Schätzer oder auch Aitken-Schätzer genannt. Methodisch diffizil ist hier meistens die konkrete Schätzung der Kovarianzmatrix ${\displaystyle \Sigma }$, gefolgt von der eigentlichen GLS-Schätzung.

Ist die Kovarianzmatrix der Störgröße eine Diagonalmatrix, auf deren Hauptdiagonale die Varianzen ${\displaystyle \sigma _{i}^{2}}$ der einzelnen Störgrößen stehen, ist die Inverse der Kovarianzmatrix eine Diagonalmatrix, deren Elemente die Kehrwerte ${\displaystyle {\frac {1}{\sigma _{i}^{2}}}}$ der entsprechenden Varianzen sind. Hier vereinfacht sich die Quadratsumme der Residuen zu

${\displaystyle \ \sum _{i=1}^{n}{\frac {e_{i}^{2}}{\sigma _{i}^{2}}}.}$

Der Lösungsvektor x ist dann

${\displaystyle x=(A^{T}\Sigma ^{-1}A)^{-1}(A^{T}\Sigma ^{-1}b)}$

mit der obengenannten Inversen. Bezeichnet man die ite Zeile der Matrix A mit ${\displaystyle a_{i}^{T}}$, dann ergibt sich der Vektor x als

${\displaystyle x=(\sum _{i=1}^{n}a_{i}a_{i}^{T}{\frac {1}{\frac {\sigma _{i}^{2}}{\sigma ^{2}}}}){_{1}}\sum _{i=1}^{n}a_{i}{\frac {1}{\frac {\sigma _{i}^{2}}{\sigma ^{2}}}}){_{1}}}$

mit \sigma^2 als arithmetischem Mittel der einzelnen Varianzen

${\displaystyle \sigma ^{2}={\frac {1}{n}}\sum _{i}\sigma _{i}^{2}}$

Bildet die Matrix A der unabhängigen Variablen eine Designmatrix, die in einer Gruppierung der y-Werte resultiert, deren Varianz gruppenweise gleich bleibt, werden die y-Werte durch die Gruppengröße geteilt und dann entsprechend weiterverarbeitet. Hier muss ich ausbauen.