Kovarianciamátrix

Egy $(0;0)$ központú kétdimenziós normális eloszlás, melynek kovarianzmátrixa $\mathrm{\Sigma }=\left(\begin{array}{cc}1& 0,5\\ 0,5& 1\end{array}\right)$

A valószínűségszámításban a $\mathrm{Cov}(𝐗)$ kovarianciamátrix pozitív szemidefinit vagy pozitív definit mátrix, ami több valószínűségi változóhoz vagy valószínűségi vektorváltozóhoz definiálható. Átlóján szórásnégyzetek találhatók, a többi elem a megfelelő valószínűségi változók illetve koordináták kovarianciája. Az egydimenziós szórásnégyzet általánosítása.

Definíció

Legyen $𝐗$ valószínűségi vektorváltozó,

$𝐗=\left(\begin{array}{c}{X}_1\\ X_2\\ ⋮\\ X_n\end{array}\right)$.

Legyen $\mathrm{E}(X_i)={\mu }_i$ az $X_i$ várható értéke, $\mathrm{Var}(X_i)={\sigma }_i^2$ a szórásnégyzete, $\mathrm{Cov}(X_i,X_j)={\sigma }_{ij},i\ne j$ a két koordináta, $X_i$ és $X_j$ kovarianciája. $𝐗$ várható értéke

$\mathrm{E}(𝐗)=\mathrm{E}\left(\begin{array}{c}{X}_1\\ X_2\\ ⋮\\ X_n\end{array}\right)=\left(\begin{array}{c}{\mu }_1\\ {\mu }_2\\ ⋮\\ {\mu }_n\end{array}\right)=\mathit{\mu }$,

vagyis a várható értékek vektora. Az $𝐗$ kovarianciamátrixa:

$\begin{array}{cc}\mathrm{Cov}(𝐗)& =\mathrm{E}((𝐗-\mathit{\mu })(𝐗-\mathit{\mu }{)}^{\mathrm{\top }})\\ \\ & =\mathrm{E}\left(\begin{array}{cccc}(X_1-{\mu }_1{)}^2& (X_1-{\mu }_1)(X_2-{\mu }_2)& \cdots & (X_1-{\mu }_1)(X_n-{\mu }_n)\\ \\ (X_2-{\mu }_2)(X_1-{\mu }_1)& (X_2-{\mu }_2{)}^2& \cdots & (X_2-{\mu }_2)(X_n-{\mu }_n)\\ \\ ⋮& ⋮& \ddots & ⋮\\ \\ (X_n-{\mu }_n)(X_1-{\mu }_1)& (X_n-{\mu }_n)(X_2-{\mu }_2)& \cdots & (X_n-{\mu }_n{)}^2\end{array}\right)\\ \\ & =\left(\begin{array}{cccc}\mathrm{Var}(X_1)& \mathrm{Cov}(X_1,X_2)& \cdots & \mathrm{Cov}(X_1,X_n)\\ \\ \mathrm{Cov}(X_2,X_1)& \mathrm{Var}(X_2)& \cdots & \mathrm{Cov}(X_2,X_n)\\ \\ ⋮& ⋮& \ddots & ⋮\\ \\ \mathrm{Cov}(X_n,X_1)& \mathrm{Cov}(X_n,X_2)& \cdots & \mathrm{Var}(X_n)\end{array}\right)\\ \\ & =\left(\begin{array}{cccc}{\sigma }_1^2& {\sigma }_{12}& \cdots & {\sigma }_{1n}\\ \\ {\sigma }_{21}& {\sigma }_2^2& \cdots & {\sigma }_{2n}\\ \\ ⋮& ⋮& \ddots & ⋮\\ \\ {\sigma }_{n1}& {\sigma }_{n2}& \cdots & {\sigma }_n^2\end{array}\right)\\ \\ & =\mathrm{\Sigma }\end{array}$

A várható értékek vektora és a kovarianciamátrix az eloszlás legfontosabb jellemzői- Megadásuk: $X\sim (\mathit{\mu },\mathrm{\Sigma })$. A kovarianciamátrix, mint a kovarianciák mátrixa tartalmazza a koordináták szórásnégyzetét és a koordináták közötti lineáris kapcsolatot jellemző kovarianciákat.

A különböző elemek száma $\frac{n^2+n}{2}$ vagy $\frac{n^2-n+2}{2}$. Ha a $X_1,\dots ,X_n$ koordináták egyike sem degenerált, és nincs tökéletes kollinearitás, akkor a kovarianciamátrix pozitív definit.

Kapcsolat a várható értékkel

Ha $\mathit{\mu }=\mathrm{E}(X)$ a valószínűségi vektorváltozó várható értéke, akkor

$\begin{array}{cc}\mathrm{Cov}(𝐗)& =\mathrm{E}((𝐗-\mathit{\mu })(𝐗-\mathit{\mu }{)}^{\mathrm{\top }})\\ & =\mathrm{E}(𝐗{𝐗}^{\mathrm{\top }})-\mathit{\mu }{\mathit{\mu }}^{\mathrm{\top }}\end{array}$.

Ahol a vektorok és mátrixok várható értékei koordinátánként értendők.

Egy $\mathit{\mu }$ várható értékű és adott kovarianciamátrixú valószínűségi vektorváltozó szimulálható a következő módon: Elkészítjük a kovarianciamátrix például Choleski-felbontását:

$\mathrm{Cov}(𝐗)=𝐃{𝐃}^{\mathrm{\top }}$.

Ekkor a valószínűségi vektorváltozó:

$𝐗=𝐃\mathit{\xi }+\mathit{\mu }$

ahol $\mathit{\xi }$ valószínűségi vektorváltozó, melynek koordinátái egymástól független normális eloszlásúak.

Két vektor kovarianciamátrixa

Két vektor kovarianciamátrixa

$\mathrm{Cov}(𝐱,𝐲)=\mathrm{E}((𝐱-\mathit{\mu })(𝐲-\mathit{\nu }{)}^{\mathrm{\top }})$

ahol $\mathit{\mu }$ az $𝐱$ várható értéke és $\mathit{\nu }$ az $𝐲$ várható értéke.

Tulajdonságai

• Ha $i=j$, akkor a mátrixkoordináták számításának módja az i-edik vektorkoordináta szórásnégyzetét adja. Tehát a főátlón a szórásnégyzetek állnak, így nem lehetnek negatívok.
• Valós kovarianciamátrix szimmetrikus, mivel a kovariancia szimmetrikus.
• A kovarianciamátrix pozitív szemidefinit. Szimmetriája miatt főtengely-transzformációkkal diagonalizálható, és az így kapott mátrix szintén kovarianciamátrix. Mivel a főátlón csak szórásnégyzetek állnak, azért ez pozitív szemidefinit, ezért az eredeti is az.
• Megfordítva, minden pozitív szemidefinit $d\times d$ méretű szimmetrikus mátrix kovarianciamátrix.
• A szimmetria, pozitív szemidefinitség és diagonalizálhatóság miatt a kovarianciamátrixok ellipszoidként ábrázolhatók.
• Minden $𝐀\in {ℝ}^{m\times n}$ mátrixra és $𝐛\in {ℝ}^n$ vektorra teljesül, hogy $\mathrm{Cov}(𝐀𝐗+𝐛)=𝐀\mathrm{Cov}(𝐗){𝐀}^{\mathrm{\top }}$.
• Minden $𝐛\in {ℝ}^n$ vektorra teljesül, hogy $\mathrm{Cov}(𝐗+𝐛)=\mathrm{Cov}(𝐗)$.
• Ha $𝐗$ és $𝐘$ korrelálatlan valószínűségi vektorváltozók, akkor

$\mathrm{Cov}(𝐗+𝐘)=\mathrm{Cov}(𝐗)+\mathrm{Cov}(𝐘)$.

• Standardizált valószínűségi vektorváltozók esetén a kovarianciamátrix a korrelációs együtthatókat tartalmazza.

Regresszió

Ha a regressziós modell alakja

$y_{it}={𝒙}_{it}^T\mathit{\beta }+{𝒆}_{it}$,

és az ${𝒆}_{it}$ hibatag idioszinkratikus, akkor a kovarianciamátrix

$\begin{array}{cc}\mathrm{V}(𝐞)=\mathrm{E}(𝐞{𝐞}^T)& =\left(\begin{array}{ccc}\mathrm{E}({𝒆}_1{𝒆}_1^{\mathrm{\top }})& \cdots & \mathrm{E}({𝒆}_1{𝒆}_N^{\mathrm{\top }})\\ \\ ⋮& \ddots & ⋮\\ \\ \mathrm{E}({𝒆}_N{𝒆}_1^{\mathrm{\top }})& \cdots & \mathrm{E}({𝒆}_N{𝒆}_N^{\mathrm{\top }})\end{array}\right)=\left(\begin{array}{ccc}{\sigma }_{11}{𝐈}_T& \cdots & {\sigma }_{1N}{𝐈}_T\\ \\ ⋮& \ddots & ⋮\\ \\ {\sigma }_{N1}{𝐈}_T& \cdots & {\sigma }_{NN}{𝐈}_T\end{array}\right)=\left(\begin{array}{ccc}{\sigma }_{11}& \cdots & {\sigma }_{1N}\\ \\ ⋮& \ddots & ⋮\\ \\ {\sigma }_{N1}& \cdots & {\sigma }_{NN}\end{array}\right)\otimes {𝐈}_T\\ \\ & =\mathrm{\Sigma }\otimes {𝐈}_T=\mathrm{\Phi }\end{array}$

Hatékonysági kritérium

Egy pontbecslő hatékonysága illetve hatékonysága mérhető a kovarianciamátrixszal, mivel tartalmazza a különböző komponensek közötti kovarianciát. Általában, egy pontbecslő hatékonyságát a kovarianciamátrixszal mérik: minél kisebb a mátrix, annál jobb a becslés. Legyen $\tilde{\mathit{\theta }}$ és $\hat{\mathit{\theta }}$ torzítatlan $(K\times 1)$ valószínűségi vektorváltozó. Ha $\mathit{\theta }$ $(K\times 1)$ méretű valószínűségi vektorváltozó, akkor $\mathrm{Cov}(\hat{\mathit{\theta }})$ $(K\times K)$ méretű szimmetrikus pozitív definit mátrix. Azt mondjuk, hogy$\mathrm{Cov}(\hat{\mathit{\theta }})$ kisebb, mint $\mathrm{Cov}(\tilde{\mathit{\theta }})$, ha $\mathrm{Cov}(\tilde{\mathit{\theta }})-\mathrm{Cov}(\hat{\mathit{\theta }})$ pozitív szemidefinit.

Források

• Friedrich Schmid, Mark Trede: Finanzmarktstatistik. Springer-Verlag, Berlin 2006, Sablon:ISBN (Sablon:Google Buch).