Kovariancia

A kovariancia a valószínűségszámítás és a statisztika tárgykörébe tartozó mennyiség, ami megadja két egymástól különböző változó együttmozgását. Kis értékei gyenge, nagy értékei erős lineáris összefüggésre utalnak. Nem normált; normálással a korrelációt kapjuk.

Definíció

Létezésének szükséges feltétele, hogy létezzen mindkét véletlen valószínűségi változó, továbbá szorzatuk várható értéke. Ez biztosan teljesül, ha $X$ és $Y$ négyzetesen integrálható, azaz $\mathrm{E}(|X{|}^2)<\mathrm{\infty }$ és $\mathrm{E}(|Y{|}^2)<\mathrm{\infty }$. Értéke $\mathrm{Cov}(X,Y)=\mathrm{E}\left((X-\mathrm{E}(X))(Y-\mathrm{E}(Y))\right)$, ahol E az úgynevezett várhatóérték-operátor. Folytonos és diszkrét valószínűségi változók kovarianciája:

$\mathrm{Cov}(X,Y)=\{\begin{array}{ll}\sum _{i=1}^n\sum _{j=1}^{n}f(x_i,y_j)(x_i-\mathrm{E}(X))(y_j-\mathrm{E}(Y))& \text{ha X és Y diszkrét}\\ \underset{-\mathrm{\infty }}{\overset{+\mathrm{\infty }}{\int }}\underset{-\mathrm{\infty }}{\overset{+\mathrm{\infty }}{\int }}f(x,y)(x-\mathrm{E}(X))(y-\mathrm{E}(Y))\mathrm{d}x\mathrm{d}y& \text{ha X és Y folytonos}\end{array}$.

Az n elemű $\mathbf{x}\text{ és }\mathbf{y}$ statisztikai minta tapasztalati (empirikus) kovarianciáját az alábbi képlettel adjuk meg: $\frac{\sum _{i=1}^n(x_i-\overline{x})(y_i-\overline{y})}{n-1}$ , ahol $x_i$ az $\text{x}$, $y_i$ az $\text{y}$ minta $i$. eleme, $\overline{x}$ és $\overline{y}$ pedig az $\mathbf{x}$ és az $\mathbf{y}$ minták mintaátlagai. (Ugyanez a képlet átalakítható az $\frac{1}{n-1}\sum _{i=1}^n{x}_i{y}_i-\frac{n}{n-1}\overline{x}\overline{y}$ formára)

Példák

Legyen $X=(X_1,X_2)$ kétdimenziós normális eloszlású, és $P_{(X_1,X_2)}={𝒩}(\mu ,\mathrm{\Sigma })$ a $\mathrm{\Sigma }$ kovarianciamátrixszal:

$\mathrm{\Sigma }=\left(\begin{array}{cc}{\sigma }_1^2& c\\ c& {\sigma }_2^2\end{array}\right),$ ekkor a kovariancia:

$\mathrm{Cov}(X_1,X_2)=c.$

Legyen $X=(X_1,X_2)$ kétdimenziós multinomiális eloszlású ($P_X=M(n,(p_1,p_2))$), így:

$\mathrm{Cov}(X_1,X_2)=\mathrm{E}(X_1{X}_2)-\mathrm{E}(X_1)\mathrm{E}(X_2)=n(n-1)p_1{p}_2-n{p}_{1}n{p}_2=-n{p}_1{p}_2.$

Tulajdonságai

• A kovariancia pozitív, ha $X$ és $Y$ között pozitív az összefüggés, ha $X$ nagy, akkor $Y$ is nagy, és ha $X$ kicsi, akkor $Y$ is kicsi.
• A kovariancia negatív, ha $X$ és $Y$ között negatív az összefüggés, ha $X$ nagy, akkor $Y$ kicsi, és ha $X$ kicsi, akkor $Y$ nagy. Ez nem fordított arányosságot jelez, hiszen a kovariancia csak lineáris összefüggés kimutatására képes.
• A kovariancia nulla, akkor $X$ és $Y$ között nincs lineáris összefüggés, de másfajta lehet.

Az eltolási tulajdonság:

$\mathrm{Cov}(X,Y)=\mathrm{E}(XY)-\mathrm{E}(X)\mathrm{E}(Y).$

Bizonyítás:

$\begin{array}{rl}\mathrm{Cov}(X,Y)& =\mathrm{E}[(X-\mathrm{E}(X))\cdot (Y-\mathrm{E}(Y))]\\ & =\mathrm{E}[(XY-X\mathrm{E}(Y)-Y\mathrm{E}(X)+\mathrm{E}(X)\mathrm{E}(Y))]\\ & =\mathrm{E}(XY)-\mathrm{E}(X)\mathrm{E}(Y)-\mathrm{E}(Y)\mathrm{E}(X)+\mathrm{E}(X)\mathrm{E}(Y)\\ & =\mathrm{E}(XY)-\mathrm{E}(X)\mathrm{E}(Y)◻\end{array}$

Kapcsolat a szórásnégyzettel

Tétel: A kovariancia a szórásnégyzet általánosítása, mivel

$\mathrm{Var}(X)=\mathrm{Cov}(X,X).$

Bizonyítás:

$\begin{array}{rl}\mathrm{Cov}(X,X)& =\mathrm{E}[(X-\mathrm{E}(X){)}^2]\\ & =\mathrm{Var}(X)◻\end{array}$

Tehát a szórásnégyzet a valószínűségi változó önmagával vett kovarianciája. A kovarianciával kiszámítható négyzetesen integrálható valószínűségi változók összegének szórásnégyzete. Általában:

$\begin{array}{rl}\mathrm{Var}\left(\sum _{i=1}^n{X}_i\right)& =\sum _{i,j=1}^n\mathrm{Cov}(X_i,X_j)\\ & =\sum _{i=1}^n\mathrm{Var}(X_i)+\sum _{i,j=1,i\ne j}^n\mathrm{Cov}(X_i,X_j)\\ & =\sum _{i=1}^n\mathrm{Var}(X_i)+2\sum _{i=1}^{n-1}\sum _{j=i+1}^n\mathrm{Cov}(X_i,X_j).\end{array}$

Speciálisan, két valószínűségi változó összegének szórásnégyzete:

$\mathrm{Var}(X+Y)=\mathrm{Var}(X)+\mathrm{Var}(Y)+2\mathrm{Cov}(X,Y).$

Ahogy az közvetlenül következik a definícióból, ha az egyik valószínűségfi változó előjele megváltozik, akkor a kovariancia is:

$\mathrm{Cov}(X,-Y)=-\mathrm{Cov}(X,Y)$

Így két valószínűségi változó különbségére:

$\mathrm{Var}(X-Y)=\mathrm{Var}(X+(-Y))=\mathrm{Var}(X)+\mathrm{Var}(Y)-2\mathrm{Cov}(X,Y).$

Linearitás, szimmetria és definitség

Tétel: A kovariancia szimmetrikus pozitív szemidefinit bilineáris forma a négyzetesen integrálható valószínűségi változók terében. Tétel: Bilineárisság: Az $a,b,c,d,e,f,g,h\in \mathbb{ℝ}$ valós számokra:

$\mathrm{Cov}(aX+b,cY+d)=ac\mathrm{Cov}(X,Y)$

$\mathrm{Cov}[X,(eY+f)+(gZ+h)]=e\mathrm{Cov}(X,Y)+g\mathrm{Cov}(X,Z).$

Bizonyítás:

$\begin{array}{rl}\mathrm{Cov}(aX+b,cY+d)& =\mathrm{E}[(aX+b-\mathrm{E}(aX+b))\cdot (cY+d-\mathrm{E}(cY+d))]\\ & =\mathrm{E}[(aX-a\mathrm{E}(X))\cdot (cY-c\mathrm{E}(Y))]\\ & =ac\mathrm{E}[(X-\mathrm{E}(X))\cdot (Y-\mathrm{E}(Y))]\\ & =ac\mathrm{Cov}(X,Y)\end{array}$

$\begin{array}{rl}\mathrm{Cov}[X,(eY+f)+(gZ+h)]& =\mathrm{E}[(X-\mathrm{E}(X))\cdot (eY+f+gZ+h-\mathrm{E}(eY+f+gZ+h))]\\ & =\mathrm{E}[(X-\mathrm{E}(X))\cdot (eY-e\mathrm{E}(Y)+gZ-g\mathrm{E}(Z))]\\ & =\mathrm{E}[(X-\mathrm{E}(X))\cdot e(Y-\mathrm{E}(Y))+(X-\mathrm{E}(X))\cdot g(Z-\mathrm{E}(Z))]\\ & =e\mathrm{E}[(X-\mathrm{E}(X))\cdot (Y-\mathrm{E}(Y))]+g\mathrm{E}[(X-\mathrm{E}(X))\cdot (Z-\mathrm{E}(Z))]\\ & =e\mathrm{Cov}(X,Y)+g\mathrm{Cov}(X,Z)◻\end{array}$

Könnyen látható, hogy a kovariancia invariáns a konstans hozzáadására. A második egyenlőségben szimmetria miatt első változójában is lineáris. Tétel: Szimmetria.

$\mathrm{Cov}(X,Y)=\mathrm{Cov}(Y,X)$

Bizonyítás:

$\begin{array}{rl}\mathrm{Cov}(X,Y)& =\mathrm{E}[(Y-\mathrm{E}(Y))\cdot (X-\mathrm{E}(X))]\\ & =\mathrm{Cov}(Y,X)◻\end{array}$

Tétel (Pozitív szemidefinit):

$\mathrm{Cov}(X,X)\ge 0.$

Bizonyítás:

$\mathrm{Cov}(X,X)=\mathrm{Var}(X)\ge 0◻$

A szimmetrikus szemidefinit bilineáris alakból következik, hogy teljesül a Cauchy–Bunyakovszkij–Schwarz-egyenlőtlenség:

$|\mathrm{Cov}(X,Y)|\le \sqrt{\mathrm{Var}(X)}\cdot \sqrt{\mathrm{Var}(Y)}$

A linearitásból következik, hogy a kovariancia függ a véletlen változók nagyságáétól. Így a kovariancia a tízszeresére változik, ha $X$ helyett a $10X$ valószínűségi változót használjuk. Így a kovariancia nagysága a valószínűségi változók mértékegységeitől is függ. Mivel ez a tulajdonság nehezen értelmezhetővé teszi a kovariancia nagyságát, azért helyette inkább a korrelációs együtthatót használják, ami skálafüggetlen:

$$\begin{gathered} {\rho }_{X,Y}=\frac{\mathrm{Cov}(X,Y)}{\sqrt{\mathrm{Var}(X)}\cdot \sqrt{\mathrm{Var}(Y)}} \\ . \end{gathered}$$

Korrelálatlanság és függetlenség

Definíció: Ha $X$ és $Y$ valószínűségi változók, és $\mathrm{Cov}(X,Y)=0$, emiatt $\varrho (X,Y)=0$, akkor $X$ és $Y$ korrelálatlan. Tétel: Ha $X$ és $Y$ független valószínűségi változók, akkor $\mathrm{Cov}(X,Y)=0.$ Bizonyítás: Független valószínűségi változók esetén $\mathrm{E}(XY)=\mathrm{E}(X)\mathrm{E}(Y)$, d. h.

$\begin{array}{rl}\mathrm{E}(XY)-\mathrm{E}(X)\mathrm{E}(Y)& =0\\ \iff \mathrm{Cov}(X,Y)& =0.\end{array}$

A megfordítás nem mindig teljesül. Legyen az $X$ valószínűségi változó egyenletes eloszlású a $[-1,1]$ intervallumon, és $Y=X^2$. Nyilvánvaló, hogy $X$ és $Y$ nem függetlenek. Viszont

$\mathrm{Cov}(X,Y)=\mathrm{Cov}(X,X^2)=\mathrm{E}(X^3)-\mathrm{E}(X)\mathrm{E}(X^2)=0-0\cdot \mathrm{E}(X^2)=0$.

További példák korrelálatlan, de nem független valószínűségi változókra: Legyenek $X$ és $Y$ valószínűségi változók úgy, hogy $P(X=0,Y=1)=\frac{1}{2}$ és $P(X=2,Y=0)=P(X=2,Y=2)=\frac{1}{4}.$

Ekkor $P(X=0)=P(X=2)=\frac{1}{2}$ és $P(Y=0)=P(Y=2)=\frac{1}{4}$, $P(Y=1)=\frac{1}{2}.$

Következik, hogy $\mathrm{E}(X)=\mathrm{E}(Y)=1$ és $\mathrm{E}(XY)=1$, tehát $\mathrm{Cov}(X,Y)=0.$

Másrészt $X$ és $Y$ nem függetlenek, mivel $P(X=0,Y=1)=\frac{1}{2}\ne \frac{1}{2}\cdot \frac{1}{2}=P(X=0)P(Y=1)$.

Legyenek $X$ és $Y$ valószínűségi változók Bernoulli-eloszlásúak a $p$ paraméterrel és függetlenek. Ekkor $(X+Y)$ és $(X-Y)$ korrelálatlan, de nem független.

A korrelálatléanság nyilvánvaló, mivel $\mathrm{Cov}(X+Y,X-Y)=\mathrm{Cov}(X,X)-\mathrm{Cov}(X,Y)+\mathrm{Cov}(Y,X)-\mathrm{Cov}(Y,Y)=0.$

De $(X+Y)$ és $(X-Y)$ nem függetlenek, hiszen $P(X+Y=0,X-Y=1)=0\ne p(1-p{)}^3=P(X+Y=0)P(X-Y=1).$

Források

• Norbert Henze: Stochastik für Einsteiger: Eine Einführung in die faszinierende Welt des Zufalls. 10. Auflage. Verlag Springer Spektrum, Wiesbaden 2013, ISBN 978-3-658-03076-6, Kapitel 21, doi:10.1007/978-3-658-03077-3_21.
• Karl Bosch: Elementare Einführung in die Angewandte Statistik: Mit Aufgaben und Lösungen, 9. erw. Auflage. Vieweg+Teubner Verlag 2010, ISBN 978-3834812292, doi:10.1007/978-3-8348-9705-3.

Fordítás

Ez a szócikk részben vagy egészben a Kovarianz (Stochastik) című német Wikipédia-szócikk fordításán alapul. Az eredeti cikk szerkesztőit annak laptörténete sorolja fel. Ez a jelzés csupán a megfogalmazás eredetét és a szerzői jogokat jelzi, nem szolgál a cikkben szereplő információk forrásmegjelöléseként.