Benutzer:Sigma^2/Prognosefehler

Der Prognosefehler (auch Vorhersagefehler) bezeichnet im einfachsten Fall die Differenz zwischen dem prognostiziertem (vorhergesagtem) Wert und dem tatsächlich eingetretenen Wert. Ein andere Bezeichnung ist Prognoseabweichung. Bei der Prognose einer Zufallsvariable durch die Angabe einer Zufallsvariablen ist der Prognosefehler eine Zufallsvariable. Teilweise wird in diesem Zusammenhang auch die Standardabweichung der zufälligen Prognoseabweichung als Prognosefehler bezeichnet.

Mit ${\displaystyle {\hat {y}}\in \mathbb {R} }$ sei der Prognosewert (oder Vorhersagewert) für einen Wert ${\displaystyle y\in \mathbb {R} }$ bezeichnet, der zum Zeitpunkt der Prognose noch nicht bekannt ist. Dann ist ex post, das heißt nach Vorliegen des beobachteten Wertes ${\displaystyle y}$, die Differenz

${\displaystyle d={\hat {y}}-y}$

der Ex-post-Prognosefehler.

Wenn zum Zeitpunkt der Abgabe der Prognose die Unsicherheit durch eine Wahrscheinlichkeitsverteilung für eine Zufallsvariable ${\displaystyle Y}$ ausgedrückt ist, ist die Zufallsvariable

${\displaystyle D={\hat {y}}-Y,}$

der Ex-ante-Prognosefehler. Eine Realisierung von ${\displaystyle D}$ ist der Ex-post-Prognosefehler ${\displaystyle d}$. Im einfachsten Fall ist die Wahrscheinlichkeitsverteilung von ${\displaystyle Y}$ bekannt und es stellt sich ex ante die Frage nach einem 'guten Prognosewert' im Sinn der Minimierung eines Fehlerkriteriums.

In einem allgemeineren Kontext stützt sich die Angabe eines Prognosewerte für ${\displaystyle Y}$ auf die beobachteten Werte weitere Zufallsvariablen ${\displaystyle X_{1},\dots ,X_{m}}$, die in diesem Zusammenhang Prädiktorvariablen heißen. In diesem Fall ist der Prognosewert ein Funktionswert ${\displaystyle {\hat {y}}(x_{1},\dots ,x_{m})}$. Für die Ex-ante-Beurteilung eines Prognoseverfahrens, das beschreibet, wie in systematischer Art aus Realisierungen ${\displaystyle (x_{1},\dots ,x_{m})}$ der Prädiktorvariablen Prognosewerte ${\displaystyle {\hat {y}}(x_{1},\dots ,x_{m})}$ gebildet werden, ist der Ex-ante Prognosefehler

${\displaystyle D={\hat {Y}}-Y,}$

von Interesse, wobei ${\displaystyle {\hat {Y}}={\hat {y}}(X_{1},\dots ,X_{m})}$ eine Zufallsvariable ist, die die Abhängigkeit des Prognosewertes von den Prädiktorvariablen bezeichnet. In diesem allgemeineren Kontext ist die Wahrscheinlichkeitsverteilung von ${\displaystyle D}$ durch die gemeinsame Wahrscheinlichkeitsverteilung von ${\displaystyle Y}$ und ${\displaystyle (X_{1},\dots ,X_{m})}$ bestimmt.

Bei einer Ex-Post-Betrachtung sind der, vor Kenntnis von ${\displaystyle y}$, abgegebene Prognosewert ${\displaystyle {\hat {y}}}$ und der eingetretene Wert ${\displaystyle y}$ bekannt. Dann ist ${\displaystyle d={\hat {y}}-y}$ der (Ex-post-)Prognosefehler, ${\displaystyle |d|}$ ist der absolute Prognosefehler, ${\displaystyle d^{2}}$ ist der quadratische Prognosefehler und ${\displaystyle d/y}$ für ${\displaystyle y\neq 0}$ ist der relative Prognosefehler.

Liegt eine endliche Folge von Paaren ${\displaystyle ({\hat {y}}_{j},y_{j})}$ für ${\displaystyle j=1,\dots ,m}$ vor, wobei jeweils ${\displaystyle {\hat {y}}_{j}}$ der Prognosewert für ${\displaystyle y_{j}}$ ist, so ergeben sich ${\displaystyle m}$ Prognosefehler ${\displaystyle d_{j}={\hat {y}}_{j}-y_{j}}$ für ${\displaystyle j=1,\dots ,m}$ vor. Zur Ex-Post-Beurteilung der Güte eines Prognoseverfahren ist es erforderlich, die Prognosefehler gemeinam zu beurteilen. Dazu werden verschiedene Gütemaße verwendet, z. B.

• der mittlere quadratische Prognosefehler

${\displaystyle {\frac {1}{m}}\sum _{i=1}^{m}({\hat {y}}_{j}-y_{j})^{2}={\frac {1}{m}}\sum _{i=1}^{m}d_{j}^{2}}$,

• die Quadratwurzel des mittleren absoluten Progosefehlers

${\displaystyle {\sqrt {{\frac {1}{m}}\sum _{i=1}^{m}({\hat {y}}_{j}-y_{j})^{2}}}={\sqrt {{\frac {1}{m}}\sum _{i=1}^{m}d_{j}^{2}}}}$,

• der mittlere absolute Prognosefehler

${\displaystyle {\frac {1}{m}}\sum _{i=1}^{m}|{\hat {y}}_{j}-y_{j}|^{2}={\frac {1}{m}}\sum _{i=1}^{m}|d_{j}|}$,

• der mittlere absolute relative (oder prozentuale) Prognosefehler

${\displaystyle {\frac {1}{m}}\sum _{i=1}^{m}\left|{\frac {{\hat {y}}_{j}-y_{j}}{y_{j}}}\right|\;,}$

falls ${\displaystyle y_{j}\neq 0}$ für ${\displaystyle j=1,\dots ,m}$.

Diese Gütemaße haben gemeinsam, dass sie nichtnegativ sind und den Wert Null genau dann annehmen, wenn ${\displaystyle d_{j}=0}$ für ${\displaystyle j=1,\dots ,m}$ gilt. Eine hohe Güte bedeutet einen kleinen Wert des Gütemaßes. Das zweite und dritte Gütemaß haben dieselben Einheiten wie die ${\displaystyle y}$-Werte. Das vierte Gütemaß ist einheitenfrei und kann als Prozentsatz angegeben werden.

Wenn ${\displaystyle j}$ ein Zeitindex ist und ${\displaystyle y_{0},y_{1},\dots ,y_{n}}$ zeitlich aufeinanderfolgende Werte sind, die eine Zeitreihe bilden, kann die Güte von Prognosewerten ${\displaystyle {\hat {y}}_{1},\dots ,{\hat {y}}_{n}}$ durch den Ungeichheitskoeffizienten von Theil

${\displaystyle U={\sqrt {\frac {\sum _{j=1}^{n}({\hat {y}}_{j}-y_{j})^{2}}{\sum _{j=1}^{n}({\tilde {y}}_{j}-y_{j})^{2}}}}={\sqrt {\frac {\sum _{j=1}^{n}({\hat {y}}_{j}-y_{j})^{2}}{\sum _{j=1}^{n}(y_{j-1}-y_{j})^{2}}}}}$

beurteilt werden. Dieser beurteilt die Prognosewerte ${\displaystyle {\hat {y}}_{1},\dots ,{\hat {y}}_{n}}$ im Vergleich zur naiven Prognose mit den Prognosewerten ${\displaystyle {\tilde {y}}_{j}=y_{j-1}}$ für ${\displaystyle j=1,\dots ,n}$. Für einen Wert ${\displaystyle U<1}$ liegt eine Verbesserung gegenüber der naiven Prognose vor. Der Ungleichheitskoeffizient von Theil darf nicht mit dem Theil-Index verwechselt werden, der ebenfalls nach dem Ökonometriker Henri Theil benannt ist.

Ist die zu prognostizierende Größe eine reelle Zufallsvariable ${\displaystyle Y}$ ist, deren Wahrscheinlichkeitsverteilung bekannt ist, dann heißt diese Wahrscheinlichkeitsverteilung Prognoseverteilung. Eine Punktprognose ist in diesem Zusammenhang die Angabe eines Wertes ${\displaystyle {\hat {y}}\in \mathbb {R} }$ mit dem man versucht, die noch nicht bekannte Realisierung ${\displaystyle y}$ der reellen Zufallsvariablen ${\displaystyle Y}$ möglichst gut zu treffen.

Bei einer ex-ante-Betrachtung, also bevor der beobachtete Wert ${\displaystyle y}$ bekannt ist, heißt die Zufallsvariable

${\displaystyle D={\hat {y}}-Y}$

Prognosefehler oder ausführlicher zufälliger Prognosefehler, wenn betont werden soll, dass es sich um eine Zufallsvariable handelt. Bei der ex-post-Betrachtung, also nach Vorliegen der Realisierung ${\displaystyle x}$, liegt der realisierte Wert ${\displaystyle d={\hat {y}}-y}$ des zufälligen Prognosefehlers ${\displaystyle D}$ vor.

Ex ante kann die Qualität einer Punktprognose mit Eigenschaften der Wahrscheinlichkeitsverteilung der Prognoseabweichung ${\displaystyle D}$ beschrieben werden, die auf elementare Art von ${\displaystyle {\hat {y}}}$ und der Verteilung von ${\displaystyle Y}$ abhängt.^[1] Falls der Erwartungswert von ${\displaystyle Y}$endlich ist, hat der Prognosefehler ${\displaystyle D}$ den Erwartungswert

${\displaystyle \mathbb {E} [D]={\hat {y}}-\mathbb {E} [Y]}$

und falls die Varianz von ${\displaystyle Y}$endlich ist, ist die Varianz des Progonsefehlers

${\displaystyle \mathrm {Var} [D]=\mathrm {Var} [Y]}$.

Für eine Zufallsvariable ${\displaystyle Y}$ mit endlichem Erwartungswert ${\displaystyle \mathbb {E} [Y]}$ heißt die Differenz ${\displaystyle {\hat {y}}-\mathbb {E} [Y]}$ Prognoseverzerrung der Punktprognose ${\displaystyle {\hat {y}}}$ für die Zufallsvariable ${\displaystyle Y}$. Eine Punktprognose heißt unverzerrt, wenn die Prognoseverzerrung den Wert Null hat, anderenfalls verzerrt. Die Punktprognose ist genau dann unverzerrt, wenn der zufällige Prognosefehler den Erwartungswert Null hat, d. h. ${\displaystyle {\hat {y}}=\mathbb {E} [Y]\iff \mathbb {E} [D]=0\;.}$ Im Kontext einer bekannten Wahrscheinlichkeitsverteilung von ${\displaystyle Y}$ ist die einzige unverzerrte Prognose durch

${\displaystyle {\hat {y}}^{*}=\mathbb {E} [Y]}$

gegeben.

Die Zufallsvariable ${\displaystyle ({\hat {y}}-Y)^{2}}$ heißt quadratischer Prognosefehler. Wenn die Zufallsvariable ${\displaystyle Y}$ eine endliche Varianz hat, hat der quadratische Prognosefehler einen endlichen Erwartungswert und die Zahl

${\displaystyle \mathbb {E} [({\hat {y}}-Y)^{2}]}$

heißt mittlerer quadratischer Prognosefehler. Für diesen gilt die Zerlegung

${\displaystyle \mathbb {E} [({\hat {y}}-Y)^{2}]=({\hat {y}}-\mathbb {E} [Y])^{2}+\mathbb {Var} [Y]\;.}$

Dabei ist der erste Summand die quadrierte Prognoseverzerrung und der zweite Summand ist die vom prognostizierten Wert ${\displaystyle {\hat {y}}}$ unabhängige Varianz der Zufallsvariablen ${\displaystyle Y}$. Der mittlere quadratische Prognosefehler wird minimiert, wenn die Prognoseverzerrung verschwindet. Der Erwartungswert als prognostizierter Wert ist also in diesem Kontext eine beste Prognose in dem Sinn, dass er den mittleren quadratischen Prognosefehler minimiert. Für den Prognosewert ${\displaystyle {\hat {y}}*=\mathbb {E} [Y]}$ gilt also

${\displaystyle \mathbb {E} [({\hat {y}}^{*}-Y)^{2}]=\min _{{\hat {y}}\in \mathbb {R} }\mathbb {E} [({\hat {y}}-Y)^{2}]\;.}$

Die Zufallsvariable ${\displaystyle |y^{*}-Y|}$ heißt absoluter Prognosefehler. Wenn die Zufallsvariable ${\displaystyle Y}$ einen endlichem Erwartungswert hat, hat auch der absolute Prognosefehler einen endlichen Erwartungswert und die Zahl

${\displaystyle \mathrm {E} [|y^{*}-Y|]}$

heißt mittlerer absoluter Prognosefehler.

Für eine positive Zufallsvariable ${\displaystyle Y}$ heißt

${\displaystyle {\frac {y^{*}-Y}{Y}}={\frac {y^{*}}{Y}}-1}$

relativer Prognosefehler und

${\displaystyle \left|{\frac {y^{*}-Y}{Y}}\right|}$

absoluter relativer Prognosefehler.

• Wenn von der Wahrscheinlichkeitsverteilung der Zufallsvariablen ${\displaystyle Y}$ nur die beiden Kennzahlen ${\displaystyle \mathbb {E} [Y]}$ und ${\displaystyle \mathbb {Var} [Y]<\infty }$ bekannt sind, ist ${\displaystyle y^{*}=\mathbb {E} [Y]}$ die beste Prognose im Sinn der Minimierung des mittleren quadratischen Fehlers, da dieser auf keine anderen Eigenschaften der Wahrscheinlichkeitsverteilung von ${\displaystyle Y}$ Bezug nimmt.
• Es gibt Fälle, in denen das Kriterium der Minimierung des mittleren quadratischen Prognosefehlers nicht angewendet werden kann, da die Varianz von ${\displaystyle Y}$ nicht endlich ist. Falls dann aber der Erwartungswert endlich ist – wie beispielsweise bei einer t-Verteilung mit zwei Freiheitsgraden – kann das Kriterium der Minimierung des mittleren absoluten Prognosefehlers angewendet werden, dass dann einen Median der Verteilung als besten Prognosewert identifiziert. Die führt im Fall t-Verteilung mit zwei Freiheitsgraden zur Stelle Null, die der eindeutige Median ist.
• In entscheidungstheoretischer Interpretation kann der mittlere quadratische Prognosefehler als Risikofunktion, d. h. als erwarteter Verlust, bezüglich der quadratischen Verlustfunktion ${\displaystyle \ell :\mathbb {R} \times \mathbb {R} \to [0,\infty )}$, ${\displaystyle \ell (x_{1},x_{2})=(x_{1}-x_{2})^{2}}$ interpretiert werden. Dabei bewertet die Verlustfunktion mit ${\displaystyle \ell (y^{*},y)}$ das Zusammentreffen von Prognosewert ${\displaystyle y^{*}}$ und Realisierung ${\displaystyle y}$ mit dem Verlust ${\displaystyle \ell (y^{*},y)}$. Die Risikofunktion ist die Funktion

${\displaystyle r({\hat {y}})=\mathbb {E} [\ell ({\hat {y}},Y)]=\mathbb {E} [({\hat {y}}-Y)^{2}]\;.}$

Das minimale Risiko ergibt sich für ${\displaystyle {\hat {y}}^{*}=\mathbb {E} [Y]}$.

• Es gibt Zufallsvariablen, wie beispielsweise eine Cauchy-verteilte Zufallsvariable, für die weder Erwartungswert noch Varianz definiert sind, so dass weder das Kriterium der Minimierung des mittleren quadratischen Prognosefehlers noch das Kriterium der Minimierung des mittleren absoluten Prognosefehlers angewendet werden können. In diesem Fall kann eine Verlustfunktion der Art ${\displaystyle \ell :\mathbb {R} \times \mathbb {R} \to [0,\infty )}$, ${\displaystyle \ell (x_{1},x_{2})=|x_{1}-x_{2}|^{p}}$ mit ${\displaystyle 0<p<1}$ bei der Risikominimierung verwendet werden.

Werden bei der Prognose der Variablen ${\displaystyle Y}$ die Werte weiterer Zufallsvariablen ${\displaystyle X_{1},\dots ,X_{m}}$ verwendet, die Informationen über die zu prognostizierende Wahrscheinlichkeitsverteilung ${\displaystyle Y}$ enthalten, so heißen diese Prädiktorvariablen. Die Prädiktorvariablen werden für die folgenden Ausführungen zu dem Zufallsvektor ${\displaystyle \mathbf {X} =(X_{1},\dots ,X_{m})^{T}}$ mit Realisierungen ${\displaystyle \mathbf {x} =(x_{1},\dots ,x_{m})^{T}\in \mathbb {R} ^{m}}$ zusammengefasst. Die Problemstellung ist, eine Punktprognose ${\displaystyle {\hat {y}}(\mathbf {x} )\in \mathbb {R} }$ für ${\displaystyle Y}$ auf der Basis der gegebenen (beobachteten) Realisierung ${\displaystyle \mathbf {x} }$ des Zufallsvektors ${\displaystyle \mathbf {X} }$ vorzunehmen. Die Punktprognose ${\displaystyle {\hat {y}}(\mathbf {x} )}$ ist eine Realisierung der Zufallsvariablen ${\displaystyle {\hat {Y}}={\hat {y}}(\mathbf {X} )}$ die für die Ex-ante-Bewertung eines Prognoseverfahrens relevant ist.

Bei der ex-ante-Betrachtung, also bevor der beobachtete Wert ${\displaystyle y}$ bekannt ist, heißt die Zufallsvariable

${\displaystyle D={\hat {Y}}-Y}$

Prognosefehler bei der Prognose von ${\displaystyle Y}$ durch ${\displaystyle {\hat {Y}}}$. Die Wahrscheinlichkeitsverteilung von ${\displaystyle D}$ hängt von der gemeinsamen Wahrscheinlichkeitsverteilung von ${\displaystyle (\mathbf {X} ,Y)}$ ab. Falls die Varianzen aller Zufallsvariablenn ${\displaystyle Y,X_{1},\dots ,X_{m}}$ endlich ist, hat der Prognosefehler ${\displaystyle D}$ den Erwartungswert

${\displaystyle \mathbb {E} [D]=\mathbb {E} [{\hat {Y}}]-\mathbb {E} [Y]}$

und die Varianz

${\displaystyle \mathrm {Var} [D]=\mathrm {Var} [{\hat {Y}}]-2\mathrm {Cov} [{\hat {Y}},Y]+\mathrm {Var} [Y]}$.

Für eine Zufallsvariable ${\displaystyle Y}$ mit endlichem Erwartungswert ${\displaystyle \mathbb {E} [Y]}$ heißt die Differenz ${\displaystyle \mathbb {E} [{\hat {Y}}]-\mathbb {E} [Y]}$ Prognoseverzerrung der Punktprognose ${\displaystyle {\hat {y}}}$. Eine Punktprognose heißt unverzerrt, wenn die Prognoseverzerrung den Wert Null hat, anderenfalls verzerrt. Die Punktprognose ist genau dann unverzerrt, wenn der zufällige Prognosefehler den Erwartungswert Null hat.

Die Zufallsvariable ${\displaystyle ({\hat {Y}}-Y)^{2}}$ heißt quadratischer Prognosefehler der zufälligen Prognose ${\displaystyle {\hat {Y}}}$ für die Zufallsvariable ${\displaystyle Y}$. Falls der Erwartungswert des quadratischen Prognosefehlers endlich ist, heißt die Zahl ${\displaystyle \mathbb {E} [({\hat {Y}}-Y)^{2}]}$ mittlerer quadratischer Prognosefehler. Die bedingte Erwartung ${\displaystyle {\hat {Y}}^{*}=\mathbb {E} [{\hat {Y}}|\mathbf {X} ]}$ als Prognose ist unverzerrt und eine beste Prognose in dem Sinn, dass sie den mittleren quadratischen Prognosefehler minimiert. Für ${\displaystyle {\hat {Y}}^{*}}$ gilt also

${\displaystyle \mathbb {E} [({\hat {Y}}^{*}-Y)^{2}]=\min _{\hat {Y}}\mathbb {E} [({\hat {Y}}-Y)^{2}]\;.}$

Für die quadratischen Verlustfunktion ${\displaystyle \ell :\mathbb {R} \times \mathbb {R} \to [0,\infty )}$, ${\displaystyle \ell (x_{1},x_{2})=(x_{1}-x_{2})^{2}}$ kann der mittlere quadratische Prognosefehler als Risikofunktion, d. h. als erwarteter Verlust, bezüglich der quadratischen Verlustfunktion interpretiert werden. Dabei bewertet die Verlustfunktion das Zusammentreffen der Prognosewertes ${\displaystyle y^{*}}$ mit der Realisierung ${\displaystyle y}$ mit dem Verlust ${\displaystyle \ell (y^{*},y)}$. Die Risikofunktion ist die Funktion

${\displaystyle r({\hat {Y}})=\mathbb {E} [\ell ({\hat {Y}},Y)]=\mathbb {E} [({\hat {Y}}-Y)^{2}]\;.}$

Das minimale Risiko ergibt sich für ${\displaystyle {\hat {Y}}^{*}=\mathbb {E} [Y|\mathbf {X} ]}$.

Wenn die gemeinsame (${\displaystyle m+1}$)-variate Wahrscheinlichkeitsverteilung von ${\displaystyle (Y,\mathbf {X} )}$ bekannt ist und die Realisierung ${\displaystyle \mathbf {x} }$ des Zufallsvektors ${\displaystyle \mathbf {X} }$ vorliegt, dann wird die bedingte Verteilung von ${\displaystyle Y}$ gegeben ${\displaystyle \mathbf {x} }$ als Prognoseverteilung (predictive distribution) bezeichnet. Als Punktprognose für ${\displaystyle Y}$ – bei Kenntnis der Realisierung ${\displaystyle \mathbf {x} }$ von ${\displaystyle \mathbf {X} }$ – wird dann häufig der bedingte Erwartungswert

${\displaystyle {\hat {y}}^{*}(\mathbf {x} )=\mathbb {E} [Y|\mathbf {X} =\mathbf {x} ]}$

verwendet. Dieser ist ein realisierter Wert der zufälligen bedingten Erwartung

${\displaystyle {\hat {y}}^{*}(\mathbf {X} )=\mathbb {E} [Y|\mathbf {X} ]\;.}$

Der zugehörige mittlere quadratische Prognosefehler ist^[2]

${\displaystyle \mathbb {E} [(\mathbb {E} [Y|\mathbf {X} ]-Y)^{2}]=\mathrm {Var} [Y]-\mathrm {Var} [\mathbb {E} [Y|\mathbf {X} ]]\,.}$

Diese Formel zeigt die Verminderung des Prognosefehlers durch die Nutzung der Prädiktorvariablen. Würde man die Prognose nur auf die bekannte Randverteilung von ${\displaystyle Y}$ stützen, dann wäre die beste Punktprognose der Erwartungswert von ${\displaystyle Y}$ und der mittlere quadratische Prognosefehler wäre ${\displaystyle \mathrm {Var} [Y]}$. Durch die Nutzung der Prädiktorvariablen vermindert sich der Prognosefehler um ${\displaystyle \mathrm {Var} [\mathbb {E} [Y|\mathbf {X} ]]}$.

Die Bedeutung des bedingten Erwartungswertes als Punktprognose ergibt sich daraus, dass dieser den mittleren quadratischen Prognosefehler minimiert.^[3]

Der mittlere quadratische Prognosefehler kann als Risikofunktion im Sinn des erwarteten Verlustes bezüglich der quadratischen Verlustfunktion ${\displaystyle \ell (x_{1},x_{2})=(x_{1}-x_{2})^{2}}$ für ${\displaystyle x_{1},x_{2}\in \mathbb {R} }$, aufgefasst werden, das heißt

${\displaystyle \mathrm {R} ({\hat {y}}(\mathbf {X} ))=\mathbb {E} [\ell ({\hat {y}}(\mathbf {X} ),Y)]=\mathbb {E} [({\hat {y}}(\mathbf {X} )-Y)^{2}]\;.}$

Die Minimierung eines empirischen Äquivalentes der Risikofunktion wird im Bereich des maschinellen Lernens als empirische Risikominimierung bezeichnet.

Wenn die gemeinsame Wahrscheinlichkeitsverteilung der zu prognostizierenden Variablen ${\displaystyle Y}$ und des Vektors der Prädiktorvariablen ${\displaystyle \mathbf {X} }$ nicht vollständig bekannt ist und unbekannte Parameter enthält, entsteht ein kombiniertes Schätz- und Prognoseproblem.

Die Zufallsvariablen ${\displaystyle Y,X_{1},\dots ,X_{m}}$ seien stochastisch unabhängig und identisch normalverteilt mit unbekanntem Erwartungswert ${\displaystyle \mu }$ und der Varianz 1. Für den Vektor der Prädiktorvariablen ${\displaystyle \mathbf {X} =(X_{1},\dots ,X_{m})}$ liege die beobachtete Realisierung ${\displaystyle \mathbf {x} =(x_{1},\dots ,x_{m})}$ vor. Wegen der stochastischen Unabhängigkeit ist die bedingte Verteilung von ${\displaystyle Y}$ gegeben ${\displaystyle \mathbf {X} =\mathbf {x} }$ die Randverteilung von ${\displaystyle Y}$ und damit die Normalverteilung ${\displaystyle {\mathcal {N}}(\mu ,1)}$, die den unbekannten Parameter ${\displaystyle \mu }$ enthält, aber nicht von ${\displaystyle \mathbf {x} }$ abhängt. Wäre ${\displaystyle \mu }$ bekannt, so wäre der beste Prognosewert im Sinn der Minimierung des mittleren quadratischen Prognosefehlers der Wert ${\displaystyle y^{*}(\mathbf {x} )=\mu }$. Die mit der Realisierung ${\displaystyle \mathbf {x} }$ vorliegende Information über den Parameter ${\displaystyle \mu }$ und damit über die Verteilung der Zufallsvariablen ${\displaystyle Y}$ die Progoseverteilung wird also durch die Bildung der bedingten Verteilung nicht automatisch übertragen. Es ist daher erforderlich den unbekannten Parameter zu schätzen. Aus dem Vektor ${\displaystyle \mathbf {x} }$ kann in einem ersten Schritt der Schätzwert ${\displaystyle {\hat {\mu }}={\bar {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}}$ für den Parameter ${\displaystyle \mu }$ berechnet werden. In einem zweiten Schritt kann dann die Punktprognose ${\displaystyle y^{*}(\mathbf {x} )={\hat {\mu }}={\bar {x}}}$ so gebildet werden, also ob der Parameter ${\displaystyle \mu }$ bekannt wäre.

Der Prognosefehler ist in diesem Fall die Zufallsvariable ${\displaystyle D={\bar {X}}-Y}$ mit ${\displaystyle \mathbb {E} [D]=0}$ und ${\displaystyle \mathbb {Var} [D]=1/m+1\;.}$ Da ${\displaystyle {\bar {X}}}$ und ${\displaystyle Y}$ normalverteilt und stochastisch unabhängig sind, ist auch ${\displaystyle D}$ normalverteilt und es gilt ${\displaystyle D\sim {\mathcal {N}}(0,1/m+1)}$.

In einem multiplen linearen Regressionsmodell mit ${\displaystyle p}$ nichtstochastischen Regressoren (erklärenden Variablen) gelte

${\displaystyle Y_{i}=\mathbf {x} _{i}^{T}{\boldsymbol {\beta }}+\varepsilon _{i},\quad i=0,1,\dots ,n}$

mit den erklärten Variablen ${\displaystyle Y_{i}}$, den Werten der Regressoren ${\displaystyle \mathbf {x} _{i}\in \mathbb {R} ^{p}}$, den stochastisch unabhängigen und identisch verteilten Störvariablen mit ${\displaystyle \mathbb {E} [\varepsilon _{i}]=0}$ und ${\displaystyle \mathrm {Var} [\varepsilon _{i}]=\sigma ^{2}>0}$, jeweils für ${\displaystyle i=0,1,\dots ,n}$, und mit dem unbekanntem Parametervektor ${\displaystyle {\boldsymbol {\beta }}\in \mathbb {R} ^{p}}$. Der Index ${\displaystyle i}$ bezeichnet statistische Untersuchungseinheiten, dies können je nach inhaltlichem Kontext Personen, Zeitpunkte, Orte usw. sein. Aus den beobachteten Werten der Regressoren und der erklärten Variablen ${\displaystyle (y_{i},\mathbf {x_{i}} )}$ für ${\displaystyle i=1,\dots ,n}$ sei der Schätzwert ${\displaystyle \mathbf {b} =(\mathbf {X} ^{T}\mathbf {X} )^{-1}\mathbf {X} ^{T}\mathbf {y} }$ für den Parametervektor ${\displaystyle {\boldsymbol {\beta }}}$, beispielsweise mit der Methode der kleinsten Quadrate, ermittelt. Dabei bezeichnet ${\displaystyle \mathbf {y} =(y_{1}\dots ,y_{n})}$ den (${\displaystyle n\times 1}$)-Vektor der beobachteten Werte der erklärten Variablen und es gilt ${\displaystyle \mathbf {X} ^{T}=[\mathbf {x} _{1}\cdots \mathbf {x} _{m}]}$ so dass ${\displaystyle \mathbf {X} }$ die (${\displaystyle n\times p}$)-Matrix der Regressorwerte ist. Der Schätzwert ${\displaystyle \mathbf {b} }$ ist eine Realisierung der erwartungstreuen Schätzfunktion ${\displaystyle \mathbf {B} =(\mathbf {X} ^{T}\mathbf {X} )^{-1}\mathbf {X} ^{T}\mathbf {Y} }$ für den Parametervektor ${\displaystyle {\boldsymbol {\beta }}}$, wobei ${\displaystyle \mathbf {Y} =(Y_{1},\dots ,Y_{n})^{T}}$. Es gilt also ${\displaystyle \mathbb {E} [\mathbf {B} ]={\boldsymbol {\beta }}}$. Die Kovarianzmatrix des Vektors ${\displaystyle \mathbf {B} }$ ist ${\displaystyle \mathbb {V} [\mathbf {B} ]=\sigma ^{2}(\mathbf {X} ^{T}\mathbf {X} )^{-1}}$.

Die in diesem Modellzusammanhang betrachtete Prognoseaufgabe ist, mithilfe eines beobachten oder hypothetisch unterstellten Vektors ${\displaystyle \mathbf {x} _{0}^{T}}$ eine Punktprognose für ${\displaystyle Y_{0}=\mathbf {x} _{0}^{T}{\boldsymbol {\beta }}+\varepsilon _{0}}$ abzugeben.

Da die Wahrscheinlichkeitsverteilung der Zufallsvariablen ${\displaystyle Y_{0}}$ vom unbekannten Parameter ${\displaystyle {\boldsymbol {\beta }}}$ abhängt, ist es naheliegend, diesen durch den Schätzwert ${\displaystyle \mathbf {b} }$ zu ersetzen und den Prognosewert aus dem Ansatz ${\displaystyle Y_{0}=\mathbf {x} _{0}^{T}\mathbf {b} +\varepsilon _{0}}$ zu bestimmen. Die Punktprognose für ${\displaystyle Y_{0}}$ im Sinn der Minimierung des mittleren quadratische Prognosefehlers für ${\displaystyle Y_{0}}$ ist dann ${\displaystyle y_{0}^{*}(\mathbf {x} _{0})=\mathbf {x} _{0}^{T}\mathbf {b} }$.

Für den zufälligen Prognosefehler ${\displaystyle D=y_{0}^{*}(\mathbf {X} _{0})-Y_{0}}$ gilt in diesem Fall ${\displaystyle \mathbb {E} [D]=0}$^[4] und

${\displaystyle \mathrm {Var} [D]=\sigma ^{2}(1+\mathbf {x} _{0}^{T}(\mathbf {X} ^{T}\mathbf {X} )^{-1}\mathbf {x} _{0})}$.^[5]

• Günter Menges: Wie gut sind Prognosen? In: Mitteilungen aus der Arbeitsmarkt- und Berufsforschung. Band 7, Nr. 3, 1974, S. 242–250 (iab.de [PDF]). 
• Peter Mertens, Susanne Rässler (Hrsg.): Prognoserechnung. Siebte, wesentlich überarbeitete und erweiterte Auflage. Physica, Heidelberg 2012, ISBN 978-3-7908-2796-5, doi:10.1007/978-3-7908-2797-2. 
• Jochen Vogel: Prognose von Zeitreihen – Eine Einführung für Wirtschaftswissenschaftler. Springer Gabler, Wiesbaden 2015, ISBN 978-3-658-06836-3, doi:10.1007/978-3-658-06837-0. 

1. ↑ Es gilt

   ${\displaystyle P(D\leq t)=P(Y\geq t-{\hat {y}})\quad {\text{für alle }}t\in \mathbb {R} \;.}$

2. ↑ Für zunächst fixierten Vektor ${\displaystyle \mathbf {x} }$ gilt

   ${\displaystyle \mathbb {E} [(\mathbb {E} [Y|\mathbf {X} =\mathbf {x} ]-Y)^{2}|\mathbf {X} =\mathbf {x} ]=\mathrm {Var} [Y|\mathbf {X} =\mathbf {x} ]}$

   und daher durch Erwartungsbildung bezüglich der Prädiktorvariablen

   ${\displaystyle \mathbb {E} [(\mathbb {E} [Y|\mathbf {X} ]-Y)^{2}]=\mathbb {E} [\mathrm {Var} [Y|\mathbf {X} ]]\;.}$

   Wegen der, im Fall endlicher Varianzen allgemeingültigen Streuungszerlegung

   ${\displaystyle \mathrm {Var} [Y]=\mathbb {E} [\mathrm {Var} [Y|\mathbf {X} ]]+\mathrm {Var} [\mathbb {E} [Y|\mathbf {X} ]]}$

   ergibt sich die angegebene Gleichung.
3. ↑ Allgemein ist für eine Prognose von ${\displaystyle Y}$ durch eine Funktion ${\displaystyle g(\mathbf {x} )}$ der Werte der Prädiktorvariablen der zufällige Prognosefehler durch die Differenz ${\displaystyle g(\mathbf {X} )-Y}$ gegeben, wobei beide Terme Zufallsvariablen sind, die in der Regel nicht stochastisch unabhängig sind. Der mittlere quadratische Prognosefehler ${\displaystyle \mathbb {E} [(g(\mathbf {X} -Y)^{2}]}$ wird durch den bedingten Erwartungswert minimiert, es gilt also

   ${\displaystyle \mathbb {E} [(\mathbb {E} [Y|\mathbf {X} ]-Y)^{2}]=\min _{g\in G}\mathbb {E} [(g(\mathbf {X} )-Y)^{2}]}$

   und für jede Realisierung ${\displaystyle \mathbf {x} }$ gilt

   ${\displaystyle \mathbb {E} [(\mathbb {E} [Y|\mathbf {X} =\mathbf {x} ]-Y)^{2}|\mathbf {X} =\mathbf {x} ]=\min _{g\in G}\mathbb {E} [(g(\mathbf {x} )-Y)^{2}|\mathbf {X} =\mathbf {x} ]\;.}$

   Dabei erfolgt die Minimierung über die Menge ${\displaystyle G}$ aller Funktionen, für die der zu berechnende Erwartungswerte exisiert.
4. ↑ ${\displaystyle \mathbb {E} [D]=\mathbb {E} [y_{0}^{*}(\mathbf {X} _{0})]-\mathbb {E} [Y_{0}]=\mathbb {E} [\mathbf {x} _{0}^{T}\mathbf {B} ]-\mathbf {x} _{0}^{T}{\boldsymbol {\beta }}=\mathbf {x} _{0}^{T}\mathbb {E} [\mathbf {B} ]-\mathbf {x} _{0}^{T}{\boldsymbol {\beta }}=\mathbf {x} _{0}^{T}{\boldsymbol {\beta }}-\mathbf {x} _{0}^{T}{\boldsymbol {\beta }}=0}$
5. ↑ ${\displaystyle \mathrm {Var} [D]=\mathbb {E} [(y_{0}^{*}(\mathbf {X} _{0})-Y_{0})^{2}]=\mathbb {E} [(\mathbf {x} _{0}^{T}\mathbf {B} -\mathbf {x} _{0}^{T}{\boldsymbol {\beta }}+\mathbf {x} _{0}^{T}{\boldsymbol {\beta }}-Y_{0})^{2}]=\mathbf {x} _{0}^{T}\mathbb {V} [\mathbf {B} ]\mathbf {x} _{0}+\mathrm {Var} [Y_{0}]=\sigma ^{2}(1+\mathbf {x} _{0}^{T}(\mathbf {X} ^{T}\mathbf {X} )^{-1}\mathbf {x} _{0})}$