Regression mit stochastischen Regressoren

Bei der Regression mit stochastischen Regressoren handelt es sich um spezielle statistische Analyseverfahren zur Aufdeckung möglicher Abhängigkeiten einer statistischen Größe von anderen Größen, den sogenannten Regressoren. In klassischen Regressionsmodellen (z. B. einfache lineare Regression, multiple lineare Regression) wird in der Regel angenommen, dass die Regressoren nichtzufällige, häufig sogar einstellbare Größen sind. In vielen praktischen Fällen, insbesondere bei ökonometrischen Modellen, kann diese Annahme nicht beibehalten werden. Man muss von zufälligen, also stochastischen Regressoren ausgehen. Dabei ist insbesondere von Interesse, wie sich stochastische Regressoren auf die Eigenschaften der Schätzungen (z. B. Kleinste-Quadrate-Schätzer) und Signifikanztests auswirken. Kurz gesagt ist es so, dass die für klassische Regressionsmodelle bekannten Eigenschaften (zumindest näherungsweise) erhalten bleiben, solange die stochastischen Regressoren unkorreliert mit den Störtermen sind (es liegt sogenannte Exogenität vor). Sind sie allerdings korreliert (es liegt sogenannte Endogenität vor), dann muss man prinzipiell andere Wege gehen.

Beispiele

Autoregressiver Prozess erster Ordnung (AR(1))

Der autoregressive Prozess erster Ordnung ist ein einfaches Modell der Zeitreihenanalyse und hat die Form

${\displaystyle Y_{t}=\beta _{0}+\beta _{1}Y_{t-1}+\varepsilon _{t}\quad ,t=1,\dots ,n}$,

wobei ${\displaystyle \varepsilon _{t}}$ weißes Rauschen darstellt. Der Regressor zum Zeitpunkt ${\displaystyle t}$ ist der zufällige Regressand vom Zeitpunkt ${\displaystyle t-1}$.

Fehler-in-den-Variablen-Modell

Gegeben sei im einfachsten Fall ein einfaches lineares Regressionsmodell (siehe z: B.^[1]):

${\displaystyle Y_{i}=\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i};\ i=1,\dots ,n}$,

jedoch kann ${\displaystyle x_{i}}$ nur mit zufälligem Fehler ${\displaystyle u_{i}}$ beobachtet werden, d. h. man hat dann den stochastischen Regressor ${\displaystyle z_{i}=x_{i}+u_{i}}$. Solche Modelle nennt man Fehler-in-den-Variablen-Modelle.

Simultane Gleichungen

Als Beispiel betrachte man die keynesianische Konsumfunktion mit zwei simultanen Gleichungen (siehe z. B.^[2]):

${\displaystyle Y_{i}=\beta _{0}+\beta _{1}X_{i}+\varepsilon _{i};\ X_{i}=Y_{i}+I_{i};\ i=1.\dots ,n}$

Dabei ist ${\displaystyle Y_{i}}$ der Konsum, ${\displaystyle X_{i}}$ das Einkommen und ${\displaystyle I_{i}}$ die Investition. Setzt man die erste Gleichung in die zweite ein, ergibt sich:

${\displaystyle X_{i}={\frac {1}{1-\beta _{1}}}(\beta _{0}+I_{i}+\varepsilon _{i})}$,

d. h. ${\displaystyle X_{i}}$ ist zufällig, weil es von ${\displaystyle \varepsilon _{i}}$ abhängt.

Allgemeiner Fall

Wir betrachten ein multiples lineares Regressionsmodell in Vektor-Matrix-Form

${\displaystyle Y=X\beta +\varepsilon }$.

Dabei ist ${\displaystyle Y}$ der ${\displaystyle n}$-dimensionale zufällige Vektor der Regressanden, ${\displaystyle X}$ die ${\displaystyle (n\times r)}$-Matrix der Regressoren, ${\displaystyle \beta }$ der ${\displaystyle r}$-dimensionale zu schätzende Parametervektor und ${\displaystyle \varepsilon }$ der ${\displaystyle n}$-dimensionale zufällige Vektor der Störgrößen mit ${\displaystyle \operatorname {E} \varepsilon =0}$ und ${\displaystyle \operatorname {Cov} \varepsilon =\sigma ^{2}I_{n}}$. Hierbei wird angenommen, dass die Datenmatrix ${\displaystyle X}$ mit Wahrscheinlichkeit 1 vollen Rang hat, d. h. ${\displaystyle \operatorname {P} \left[\,\operatorname {Rang} (X)=r\,\right]=1}$. Der Kleinste-Quadrate-Schätzer für ${\displaystyle \beta }$ hat die Gestalt

${\displaystyle b=(X^{T}X)^{-1}X^{T}Y=\beta +(X^{T}X)^{-1}X^{T}\varepsilon }$.

Da man schreiben kann ${\displaystyle b=\beta +A\varepsilon }$, mit ${\displaystyle A=(X^{T}X)^{-1}X^{T}}$, ist ${\displaystyle b}$ eine lineare Funktion der Störgrößen, was ${\displaystyle b}$ zu einem linearen Schätzer macht.

Nichtzufällige Regressoren

In diesem Standardfall gilt bekanntermaßen

• ${\displaystyle b}$ ist beste lineare erwartungstreue Schätzfunktion (BLUE) mit ${\displaystyle \operatorname {Cov} b=\sigma ^{2}(X^{T}X)^{-1}}$.
• Falls das durchschnittliche Quadrat der beobachteten Werte der erklärenden Variablen auch bei einem ins Unendliche gehendem Stichprobenumfang endlich bleibt: ${\displaystyle \lim _{n\to \infty }{\frac {1}{n}}X^{T}X=Q}$ mit positiv definitem ${\displaystyle Q}$, dann ist ${\displaystyle b}$ konsistent für ${\displaystyle \beta }$.
• Falls die Störgröße normalverteilt ist, dann ist auch ${\displaystyle b}$ normalverteilt und es können t- bzw. F-verteilte Teststatistiken gebildet werden.

Exogenität der Regressoren

Darunter versteht man, dass die Regressoren ${\displaystyle X}$ zwar stochastisch, aber unkorreliert mit dem Störterm ${\displaystyle \varepsilon }$ sind, siehe z. B.^[3] Im obigen Fehler-in-den-Variablen-Beispiel hat man die Exogenität, wenn ${\displaystyle u_{i}}$ und ${\displaystyle \varepsilon _{i}}$ unkorreliert sind. Dann gilt:

• ${\displaystyle b}$ ist weiterhin BLUE mit ${\displaystyle \operatorname {Cov} b=\sigma ^{2}\operatorname {E} (X^{T}X)^{-1}}$, siehe ^[4]
• Falls ${\displaystyle {\frac {1}{n}}X^{T}X}$ in Wahrscheinlichkeit gegen eine positiv definite Matrix ${\displaystyle Q}$ konvergiert, dann ist ${\displaystyle b}$ konsistent für ${\displaystyle \beta }$, siehe z. B.^[5]
• Falls ${\displaystyle \varepsilon }$ normalverteilt ist, dann ist ${\displaystyle b}$ asymptotisch normalverteilt. Die klassischen Teststatistiken können für große ${\displaystyle n}$ benutzt werden.

Allgemeine stochastische Regressoren

${\displaystyle X}$ und ${\displaystyle \varepsilon }$ sind korreliert, wie z. B. bei der keynesianischen Konsumfunktion. Dann ist ${\displaystyle b}$ verzerrt und nicht mehr konsistent für ${\displaystyle \beta }$. Die klassischen Teststatistiken können nicht benutzt werden. Es müssen prinzipiell andere Methoden gewählt werden.

Für Modelle der Zeitreihenanalyse, wenn allgemeiner als im obigen AR(1)-Beispiel ein ARMA-Modell vorliegt, gibt es spezielle, zum Teil rekursive Kleinste-Quadrate-Verfahren, die im Allgemeinen auf nichtlineare Kleinste-Quadrate-Schätzer führen, siehe z. B.^[6]

Unter dem Stichwort Simultane Gleichungen findet man die Methode der Instrumentvariablen, und da z. B. den zweistufigen Kleinste-Quadrate-Schätzer (engl. two-stage least-squares estimator) und den mit der verallgemeinerten Momentenmethode (engl. Generalized Method of Moments) gewonnenen Schätzer GMM-Schätzer, siehe z. B.^[7]

Einzelnachweise

1. Schneeweiß, H.: Ökonometrie, Physica Verlag 1990 (4. Auflage) Kapitel 7 (3. Auflage 1978)
2. Schönfeld, P.: Methoden der Ökonometrie, Band II, Stochastische Regressoren und simultane Gleichungen, Vahlen (München) 1971
3. Green, W.H.: Econometric Analysis, Prentice Hall 2002 (5. Auflage), Seite 42, full text
4. Green, W.H.: Econometric Analysis, Prentice Hall 2002 (5. Auflage), Theorem 4.3
5. Verbeek, M.: A Guide to Modern Econometrics, Wiley 2004 (2. Auflage), Seite 34, full text
6. Brockwell, P. J. and Davis, R. A.: Time Series: Theory and Methods, Springer 1991 (2. Auflage)
7. Green, W.H.: Econometric Analysis, Prentice Hall 2002 (5. Auflage), Kapitel 15