Konzisztens becslés

A {T₁, T₂, T₃, ...} a θ₀ paraméter becsléseinek sorozata, amelynek valódi értéke 4. Ez a becslés konzisztens: a becslések egyre inkább a θ₀ valós érték közelében koncentrálódnak; ugyanakkor a becslések torzítottak. A sorozat egy olyan valószínűségi változóhoz konvergál amely 1 valószínűséggel egyenlő θ₀-val.

A statisztikában a konzisztens becslés vagy aszimptotikusan konzisztens becslés egy becslés – a θ₀ paraméter valós értékének kiszámítására szolgáló szabály –, amelynek az a tulajdonsága, hogy ahogy a felhasznált adatpontok száma korlátlanul növekszik, a kapott becslések sorozatának valószínűségi határértéke (plim) θ₀-hoz konvergál. Ez azt jelenti, hogy a becslések eloszlása egyre inkább a becsült paraméter valódi értékéhez közel koncentrálódik, így annak valószínűsége, hogy a becslő tetszőlegesen közel kerül θ₀-hoz, egyhez konvergál.

A gyakorlatban ez úgy működik hogy készítünk egy becslést egy rendelkezésre álló n méretű minta alapján, majd elképzeljük, hogy tovább gyűjthetjük az adatokat, és a végtelenségig bővíthetjük a mintát. Ily módon n-nel indexelt becslések sorozatát kapjuk, és a konzisztencia arra vonatkozik, hogy mi történik akkor, ha a minta mérete „a végtelenségig nő”. Ha a becslések sorozata matematikailag kimutathatóan valószínűségében konvergál a valódi θ₀ értékhez, akkor konzisztens becslésnek nevezzük; ellenkező esetben a becslést inkonzisztensnek mondják.

Az itt meghatározott konzisztenciát néha gyenge konzisztenciának is nevezik. Ha a valószínűségi konvergenciát majdnem biztos konvergenciával helyettesítjük, akkor a becslés erősen konzisztensnek mondható. A konzisztencia a torzítottsághoz hasonló fogalom, mivel mindkettő azt méri hogy egy becslés mennyire „jó” - azonban két különböző szempontból - fontos hogy egyik tulajdonságból sem következik a másik.

Definíció

Formálisan egy becslés T _n a θ paraméterre akkor konzisztens, ha valószínűségben konvergál a valódi paraméterhez: Sablon:Sfn

$\underset{n\to \mathrm{\infty }}{\mathrm{plim}}{T}_n=\theta .$

azaz, ha minden ε > 0 esetén

$\underset{n\to \mathrm{\infty }}{\lim }\mathrm{Pr}(|T_n-\theta |>\epsilon )=0.$

Egy szigorúbb definíció figyelembe veszi azt a tényt, hogy θ értéke valójában ismeretlen, így a valószínűségi konvergenciának meg kell történnie e paraméter minden lehetséges értékére. Tegyük fel, hogy Sablon:Nowrap } eloszlások egy halmaza (a parametrikus modell ), és Sablon:Nowrap } egy végtelen minta a p _θ eloszlásból. Legyen { T _n ( X ^θ ) } becslések sorozata valamilyen g ( θ ) paraméterhez. Általában a T _n egy minta első n megfigyelésén alapul. Ekkor ezt a { T _n } sorozatot (gyengén) konzisztensnek mondjuk, ha Sablon:Sfn

$\underset{n\to \mathrm{\infty }}{\mathrm{plim}}{T}_n(X^{\theta })=g(\theta ),\text{ha}\theta \in \mathrm{\Theta }.$

Ez a definíció egy g (θ) függvényt használ θ helyett, mivel az embert gyakran érdekli az alapul szolgáló paraméter egy bizonyos függvényének vagy egy részvektorának becslése.

Példák

Normál valószínűségi változó mintaátlaga

Tegyük fel, hogy van egy {X₁, X₂, ...} megfigyelési sorozatunk egy normál N (μ, σ²) eloszlásból. A μ első n megfigyelés alapján történő becsléséhez a mintaátlagot használhatjuk: $\frac{T_n=X_1+\cdots +X_n}{n}$. Ez meghatározza a becslések sorozatát, az n mintamérettel indexelve.

A normális eloszlás tulajdonságaiból ismerjük ennek a statisztikának a mintavételi eloszlását : T _n maga normális eloszlású, μ átlaggal és σ ² / n szórással. Ezzel egyenértékűen $(T_n-\mu )/(\sigma /\sqrt{n})$ sztenderd normál eloszlású:

$\mathrm{Pr}[|T_n-\mu |\ge \epsilon ]=\mathrm{Pr}[\frac{\sqrt{n}|T_n-\mu |}{\sigma }\ge \sqrt{n}\epsilon /\sigma ]=2(1-\mathrm{\Phi }\left(\frac{\sqrt{n}\epsilon }{\sigma }\right))\to 0$

ahogy n a végtelenhez tart, bármely rögzített Sablon:Nowrap számra. Ezért a mintaátlagok T _n sorozata konzisztens a sokaság átlagára nézve μ ($\mathrm{\Phi }$ a normális eloszlás kumulatív eloszlás függvénye).

A konzisztencia vizsgálata

Az aszimptotikus konzisztencia fogalma nagyon közel áll, szinte szinonimája a valószínűségi konvergencia fogalmának. Mint ilyen, bármely tétel, lemma vagy tulajdonság, amely valószínűségi konvergenciát állapít meg, felhasználható a konzisztencia bizonyítására. Számos ilyen eszköz létezik:

• A konzisztencia közvetlenül a definícióból való bizonyítására használhatjuk a következő egyenlőtlenséget Sablon:Sfn

$\mathrm{Pr}[h(T_n-\theta )\ge \epsilon ]\le \frac{\mathrm{E}[h(T_n-\theta )]}{h(\epsilon )},$

a h függvény leggyakrabban vagy az abszolút érték (ebben az esetben ez a reláció Markov-egyenlőtlenségként ismert), vagy a négyzet függvény (ekkor ez a Csebisev-egyenlőtlenség ).

• Egy másik hasznos eredmény a folytonos leképezési tétel : ha T _n konzisztens θ-re, és g (·) egy valós értékű függvény amely folytonos a θ pontban, akkor g ( T _n ) konzisztens lesz g( θ )-re: Sablon:Sfn

$T_n\stackrel{p}{\to }\theta \Rightarrow g(T_n)\stackrel{p}{\to }g(\theta )$

• Szluckij tétele használható több különböző becslés kombinálására, vagy egy becslés nem véletlenszerű konvergens sorozatával. Ha T _n → ^d α és S _n → ^p β, akkor Sablon:Sfn

$\begin{array}{cc}& T_n+S_n\stackrel{d}{\to }\alpha +\beta ,\\ & T_n{S}_n\stackrel{d}{\to }\alpha \beta ,\\ & T_n/S_n\stackrel{d}{\to }\alpha /\beta ,\text{ provided that }\beta \ne 0\end{array}$

• Ha a T _n becslést egy explicit képlettel adjuk meg, akkor a képlet valószínűségi változók összegét fogja használni, és ekkor a nagy számok törvénye használható: { X _n } valószínűségi változók sorozatára megfelelő feltételek mellett igaz hogy

$\frac{1}{n}\sum _{i=1}^{n}g(X_i)\stackrel{p}{\to }\mathrm{E}[g(X)]$

• Ha a T _n becslés implicit módon van definiálva, például olyan értékként, amely maximalizál egy bizonyos célfüggvényt (lásd extrémumbecslő), akkor bonyolultabb, sztochasztikus ekvikontinuitást magában foglaló bizonyítást kell használni. Sablon:Sfn

Torzítottság versus konzisztencia

Torzítatlan, de nem konzisztens

A becslő lehet torzítatlan, de nem konzisztens. Például egy {xSablon:Su, ..., xSablon:Su} iid mintához használható a TSablon:Su (X) = xSablon:Su mint az E[x] átlag becslője. Vegyük figyelembe, hogy itt a TSablon:Su mintavételi eloszlása megegyezik a mögöttes eloszlással (bármely n esetén, mivel figyelmen kívül hagy minden pontot, kivéve az utolsót), így E[ TSablon:Su(X)] = E[x] és torzítatlan, de nem konvergál semmilyen értékhez.

Ha azonban a becslések sorozata torzítatlan és konvergens értékhez, akkor konzisztens, mivel a helyes értékhez kell konvergálnia.

Torzított, de konzisztens

Másrészről a becslés lehet torzított, de konzisztens. Például, ha az átlagot a következővel becsüljük meg: $\frac{1}{n}\sum x_i+\frac{1}{n}$ akkor ez a becslés torzított, de ahogy $n\to \mathrm{\infty }$, megközelíti a helyes értéket, és így konzisztens.

Fontos példa a minta varianciája és a minta szórása. A Bessel-korrekció nélkül (vagyis a mintaméret $n$ helyett a szabadságfokot $n-1$ használjuk normalizálásra), is negatívan torzított, de konzisztens becslés. A korrekcióval a korrigált minta varianciája torzítatlan, míg a korrigált minta szórása továbbra is torzított, de kevésbé, és mindkettő továbbra is konzisztens: a korrekciós tényező 1-hez konvergál a minta méretének növekedésével.

Íme egy másik példa. Legyen $T_n$ becslések sorozata $\theta$-re:

$\mathrm{Pr}(T_n)=\{\begin{array}{cc}1-1/n,& \text{if }{T}_n=\theta \\ 1/n,& \text{if }{T}_n=n\delta +\theta \end{array}$

Láthatjuk, hogy $T_n\stackrel{p}{\to }\theta$, $\mathrm{E}[T_n]=\theta +\delta$, és a torzítás nem konvergál nullához.