Dieser Artikel behandelt die Kovarianz von zwei Zufallsvariablen; zur Kovarianz einer Datenreihe oder Stichprobe siehe
Stichprobenkovarianz.
Die Kovarianz (lateinisch con- = „mit-“ und Varianz (Streuung) von variare = „(ver)ändern, verschieden sein“, daher selten auch Mitstreuung[1]) ist in der Stochastik ein nichtstandardisiertes Zusammenhangsmaß für einen monotonen Zusammenhang zweier Zufallsvariablen mit gemeinsamer Wahrscheinlichkeitsverteilung. Der Wert dieser Kennzahl macht tendenzielle Aussagen darüber, ob hohe Werte der einen Zufallsvariablen eher mit hohen oder eher mit niedrigen Werten der anderen Zufallsvariablen einhergehen.
Die Kovarianz ist ein Maß für die Assoziation, d. h. sie misst den Grad der (Un-)Abhängigkeit zweier Zufallsvariablen, wenn mindestens eine der Zufallsvariablen nominalskaliert ist.
Für die Berechnung oder Schätzung der Kovarianz aus zwei Datenreihen gibt es unterschiedliche Formeln, siehe Stichprobenkovarianz.
Zusammenhang von Kovarianz und Korrelation
Die Kovarianz ist zu zwei Eigenschaften der Daten proportional, der Stärke des Zusammenhangs und den Amplituden beider Streuungen. Um den Zusammenhang isoliert zu betrachten und vergleichbar zu machen, kann die Kovarianz mithilfe der Standardabweichung durch den Korrelationskoeffizient standardisiert werden.
Durch die Umrechnung der Kovarianz in die Korrelation
wird der Wertebereich in das Intervall projiziert. Dabei können folgende Fälle unterschieden werden:
|
|
= 1 |
vollständig (positiv) korreliert |
0 < |
|
< 1 |
partiell (positiv) korreliert |
|
|
= 0 |
vollständig unkorreliert |
−1 < |
|
< 0 |
partiell antikorreliert |
|
|
= −1 |
vollständig antikorreliert |
Verschiebungssatz
Zur oft einfacheren Berechnung der Kovarianz kann man auch den Verschiebungssatz als alternative Darstellung der Kovarianz anwenden.
Satz (Verschiebungssatz für die Kovarianz):
Beweis:
Beziehung zur Varianz
Wie aus der Definition direkt ersichtlich, gilt
Damit ist die Kovarianz eine Verallgemeinerung der Varianz.
Mit Hilfe der Kovarianzen lässt sich auch die Varianz einer Summe von quadratintegrierbaren Zufallsvariablen berechnen. Allgemein gilt
Speziell für die Summe zweier Zufallsvariablen gilt daher die Formel
Wie sich unmittelbar aus der Definition ergibt, ändert die Kovarianz das Vorzeichen, wenn eine der Variablen das Vorzeichen ändert:
Somit ergibt sich für die Differenz zweier Zufallsvariablen die Formel
Linearität, Symmetrie und Definitheit
Satz: Die Kovarianz ist eine positiv semidefinite symmetrische Bilinearform auf dem Vektorraum der quadratisch integrierbaren Zufallsvariablen.
Es gelten also die folgenden drei Sätze:
Satz (Bilinearität): Für gilt:
Beweis:
Die Kovarianz ist offensichtlich invariant unter der Addition von Konstanten zu den Zufallsvariablen. In der zweiten Gleichung ist die Kovarianz wegen der Symmetrie auch im ersten Argument linear.
Satz (Symmetrie):
Beweis:
Satz (Positive Semidefinitheit):
Beweis:
Insgesamt folgt wie für jede positiv semidefinite symmetrische Bilinearform die Cauchy-Schwarzsche Ungleichung
Die Linearität der Kovarianz hat zur Folge, dass die Kovarianz vom Maßstab der Zufallsvariablen abhängt. So erhält man beispielsweise die zehnfache Kovarianz, wenn man anstatt
die Zufallsvariable betrachtet. Insbesondere hängt der Wert der Kovarianz von den verwendeten Maßeinheiten der Zufallsvariablen ab. Da diese Eigenschaft die absoluten Werte der Kovarianz schwer interpretierbar macht, betrachtet man bei der Untersuchung auf einen linearen Zusammenhang zwischen und häufig stattdessen den maßstabsunabhängigen Korrelationskoeffizienten. Der maßstabsunabhängige Korrelationskoeffizient zweier Zufallsvariablen und ist die Kovarianz der standardisierten (auf die Standardabweichung bezogenen) Zufallsvariablen und :[3]
- .
Unkorreliertheit und Unabhängigkeit
Definition (Unkorreliertheit): Zwei Zufallsvariablen und heißen unkorreliert, wenn .
Satz: Zwei stochastisch unabhängige Zufallsvariablen sind unkorreliert.
Beweis: Für stochastisch unabhängige Zufallsvariablen und gilt , d. h.
Der Umkehrschluss gilt im Allgemeinen nicht. Ein Gegenbeispiel ist gegeben durch eine im Intervall gleichverteilte Zufallsvariable und . Offenkundig sind und voneinander abhängig. Es gilt aber
- .
Stochastisch unabhängige Zufallsvariablen, deren Kovarianz existiert, sind also auch unkorreliert. Umgekehrt bedeutet Unkorreliertheit aber nicht zwingend, dass die Zufallsvariablen stochastisch unabhängig sind, denn es kann eine nichtmonotone Abhängigkeit bestehen, die die Kovarianz nicht erfasst.
Weitere Beispiele für unkorrelierte, aber stochastisch abhängige Zufallsvariablen:
- Seien und Zufallsvariablen mit und
- Dann gilt und ,
- Es folgt und ebenfalls , also
- Andererseits sind und wegen nicht stochastisch unabhängig.
- Seien die Zufallsvariablen und bernoulliverteilt mit Parameter und unabhängig, dann sind und unkorreliert, aber nicht unabhängig.
- Die Unkorreliertheit ist klar, denn
- Aber und sind nicht unabhängig, denn es ist
Der Kovarianzoperator verallgemeinert die Kovarianz auf unendlich-dimensionale Räume. Er spielt eine wichtige Rolle in der stochastischen Analysis auf solchen Räumen und der Theorie der stochastischen partiellen Differentialgleichungen.