Hamis felfedezési arány

A statisztikában a hamis felfedezési arány (false discovery rate, FDR) egy többszörös összehasonlítást használó módszer az elsőfajú hibák arányának felderítésére nullhipotézis tesztelése során. Az FDR-kontrolláló eljárások feladata, hogy ellenőrizzék azon „felfedezések” (elvetett nullhipozézisek) várható eloszlását, amelyek hamisak (a nullhipotézis helytelen elvetése). Az FDR-kontrolláló eljárások kevésbé szigorú ellenőrzést használnak az elsőfajú hiba kontrollálására, mint az FWER (familywise error rate) kontrolláló eljárások (mint a Bonferroni-korrekció), amelyek legalább egy elsőfajú hiba valószínűségét ellenőrzik. Ezért az FDR kontrolláló eljárások nagyobb statisztikai erővel bírnak, viszont magasabb számú elsőfajú hiba árán.

Története

Technológiai motivációk

Az FDR széleskörű használatához a technológiai fejlődés vezetett, amely lehetővé tette számos különböző változó együttes vizsgálatát egyénenként. Az 1980-as és 1990-es évekre az olyan gyorsan növekvő tudományterületek, mint a genomika - amely automatizáltan, rengeteg próbát vizsgál egyszerre -, lehetővé tették a gyors adatbeszerzést. Ez a számítástechnikai teljesítmény növekedésével párosulva lehetővé tette több ezer statisztikai teszt zökkenőmentes elvégzését egy adott adathalmazon.

Ahogy a nagy áteresztőképességű technológiák általánossá váltak, a technológiai és/vagy pénzügyi korlátok arra késztették a kutatókat, hogy viszonylag kis mintaméretet (pl. kevés tesztelt egyénnel) és mintánként nagyszámú változót (például génexpressziós szintek ezreit) dolgozzanak fel. Ezekben az adathalmazokban a mért változók közül kevés mutatott statisztikai szignifikanciát a többszörös összehasonlítási eljárások során használt klasszikus korrekciókat követően. Ez sok tudományos közösségben életre hívta az FWER és a kiigazítatlan többszörös hipotézis-tesztelések elhagyását annak érdekében, hogy más módokon emelhessék ki és rangsorolhassák azokat a változókat a publikációkban, amelyek egyéneken vagy kezeléseken keresztül jelentős hatást mutatnak, viszont nem szignifikáns eredményként elvetésre kerülnének a többszöri tesztelés szokásos korrekciója után. Erre válaszul számos olyan hibaarányra született javaslat, amely kevésbé konzervatív az FWER-nél a jelentős megfigyelések megjelölésében.

Irodalom

Az FDR koncepcióját Yoav Benjamini és Yosef Hochberg (1995) alkották meg (Benjamini–Hochberg-eljárás, BH-eljárás), amely egy kevésbé konzervatív eljárás és hatékonyan azonosítja a fontosabb hatásokat a sok egyéb hatás közül. Az FDR volt az FWER első olyan alternatívája, amely számos tudományos területen széles körben elfogadottá vált (genetikától a biokémiáig, az onkológiáig és a növénytudományig). 2005-ben így Benjamini és Hochberg tanulmányát a 25 legtöbbet idézett statisztikai cikk közé sorolták.

Az FDR koncepció 1995-ös bevezetésének több előfutára is volt a statisztikai szakirodalomban. 1979-ben Holm megalkotta a Holm-eljárást, amely egy lépésenkénti algoritmus az FWER vezérlésére, és amely legalább olyan hatékony, mint a Bonferroni-korrekció. Ez a lépésenkénti algoritmus rendezi a p-értékeket, és a hipotéziseket a legkisebb p-értéktől kiindulva egymást követően elutasítja.

Benjamini (2010) elmondása szerint az 1995-ös tanulmányuk két, többszörös teszteléssel foglalkozó tanulmányból ered:

• Az első ilyen Scweder és Spjotvoll (1982) munkája, akik javasolták a rangsorolt p-értékek ábrázolását, és a valódi nullhipotézisek értékelését azok vonalra illesztésével, a legnagyobb p-értéktől indulva, amelyek így egy egyenest alkotnak. Az ettől az egyenestől eltérő p-értékek a nullhipotézisnek felelnek meg. Ezt az ötletet később algoritmussá fejlesztették, és a nullhipotézist olyan eljárásokba építették be, mint a Bonferroni-, Holm- vagy Hochberg-eljárás. Ez az elképzelés szorosan kapcsolódik a BH-eljárás grafikus értelmezéséhez.
• A másik ilyen tanulmány Branko Soric (1989) munkája, amely a „felfedezés” terminológiáját vezeti be többszörös hipotézistesztelés összefüggésében. Soric figyelmeztetőként használta a hamis felfedezések várható számát elosztva az összes felfedezés számával $(E[V]/R)$, mondván: „a statisztikai felfedezéseink nagy része téves lehet”. Ez arra az elképzelésre vezette Benjaminit és Hochberget, hogy egy hibaarányt ahelyett, hogy figyelmeztetésként szolgálna, érdemes lenne kontrollálni.

1995-ben Benjamini és Hochberg bebizonyította, hogy a BH-eljárás egymástól független teszteknél kontrollálja az FDR-t. 1986-ban R.J. Simes ugyanezt az eljárást javasolta "Simes eljárás" néven annak érdekében, hogy a gyenge értelemben vett FWER-t kontrollálják egymástól független teszteknél.

Definíciók

Az alábbi definíciók alapján meghatározhatjuk a Q -t, mint a hamis felfedezések arányát az összes felfedezés között (a nullhipotézisek elutasítása):

$Q=V/R=V/(V+S)$,

ahol $V$ a hamis felfedezések száma, $S$ az igazi felfedezések száma, $R$ pedig az összes felfedezés száma.

A hamis felfedezési arány (FDR) ezután egyszerűen:

$\mathrm{F}\mathrm{D}\mathrm{R}=Q_e=\mathrm{E}\left[Q\right]$,

ahol $\mathrm{E}\left[Q\right]$ a várható értéke $Q$-nak. A cél, hogy az FDR-t egy adott q érték alatt tartsuk. A 0-val való osztás elkerülése érdekében $Q$-t 0-nak definiáljuk, amikor $R$ = 0:

$\mathrm{F}\mathrm{D}\mathrm{R}=\mathrm{E}[V/R|R>0]\cdot \mathrm{P}(R>0)$.

Többszörös hipotézistesztelések osztályozása

A következő táblázat a többszörös hipotézistesztelés lehetséges kimeneteleit definiálja. Tegyük fel, hogy m számú nullhipotézisünk van, amelyeket a következőképp jelölünk: H₁ , H₂, …, Hm. Statisztikai tesztet használva szignifikáns eredmény esetén elutasítjuk a nullhipotézist. Ha a teszt eredménye nem szignifikáns, nem utasítjuk el a nullhipotézist. Az összes H_i -re vonatkozó eredménytípust összesítve a következő random változókat kapjuk:

	A nullhipotézis igaz (H0)	Az alternatív hipotézis igaz (HA)	Összegezve
A teszt szignifikáns	V	S	R
A teszt nem szignifikáns	U	T	m-R
Összegezve	m0	m-m0	m

• $m$: az összes tesztelt hipotézisek száma
• $m_0$: az igaz nullhipotézisek száma, nem ismert paraméter
• $m-m_0$: az igaz alternatív hipotézisek száma
• $V$: a fals pozitívok száma (elsőfajú hiba) („false discoveries”)
• $S$: az valódi pozitívak száma („true discoveries”)
• $T$: a fals negatívak száma (másodfajú hiba)
• $U$: A valódi negatívak száma
• $R=V+S$: Az elvetett nullhipotézisek száma (igaz vagy hamis felfedezések)
• $m$ hipotézistesztelésben, ahol $m_0$-k az igaz nullhipotéziseket jelölik, $R$ egy megfigyelhető véletlen változó, $S$, $T$, $U$ és $V$ pedig nem megfigyelhető véletlen változók.

Kontrolláló eljárások

A legtöbb eljárás során H₁….H_m számú nullhipotézis tesztelés, és a hozzájuk tartozó P₁….P_m áll rendelkezésünkre. A p-értékeket növekvő sorrendben soroljuk fel és P₍₁₎….P_(m) -ként jelöljük. Az alacsonytól magas p-érték felé tartó eljárásokat emelkedő („step up”), míg a magastól alacsony p-érték felé tartó eljárásokat ereszkedő („step down”) folyamatoknak nevezzük.

Benjamini–Hochberg-eljárás (BH-eljárás)

A Benjamini–Hochberg-eljárás (BH-emelkedő eljárás) az FDR-t kontrollálja $\alpha$ szintjén. A következőképpen működik:

1. Egy adott α esetén keresse meg a legnagyobb k értéket, amely: $P_{(k)}\le \frac{k}{m}\alpha$ ($k=\underset{j\in (i,...,n)}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}\left(I_{P_{(j)}\le \frac{j}{m}\alpha }\right)$).

2. Vesse el a nullhipotézist az i-re minden H_(i)-nél = 1,…,k.

Geometriai értelemben ez megegyezik P_(k) és k (pl. y és x tengelyen) ábrázolásával, áthúzva az egyenest az origón $\frac{\alpha }{m}$ meredekséggel, igazolva a bal oldali pontok felfedezését egészen az utolsó, vonal alatti pontig.

A BH-eljárás akkor érvényes, ha az m-tesztek függetlenek, és sok olyan esetben is, amikor fennáll a függőség, de ezek nem általánosan érvényesek. Egyenlőtlenség esetén is működőképes: $E(Q)\le \frac{m_0}{m}\alpha \le \alpha$

Ha az $m_0$ becslő értékét beillesztjük a BH-eljárásba, már nem garantált az FDR kontroll elérése a kívánt szinten. Szükség lehet kiigazításokra a becslő értékben, és erre számos módosítást javasoltak.

Az m- tesztek $\alpha$ átlaga: $\frac{\alpha (m+1)}{2m}$, FDR $\alpha$ átlaga (vagy MFDR), $\alpha$ az m független vagy pozitív korrelációihoz igazítva (lásd AFDR). Az MFDR kifejezés az $\alpha$ egyetlen újraszámított értékére vonatkozik, és nem része a Benjamini–Hochberg-módszernek.

Benjamini–Yekutieli-eljárás

A Benjamini-Yekutieli-eljárás tetszőleges függőségi feltételezések alapján ellenőrzi a hamis felfedezési arányt (FDR-t). Ez a finomítás módosítja a küszöbértéket, és a következőképpen találja meg k értékét:

$P_{(k)}\le \frac{k}{m\cdot c(m)}\alpha$

• Ha a tesztek függetlenek vagy pozitívan korrelálnak (mint a Benjamini–Hochberg-eljárásban): $c(m)=1$

• Tetszőleges függőség esetén (beleértve a negatív korrelációkat), c(m) a harmonikus szám: $c(m)=\sum _{i=1}^m\frac{1}{i}$

A c(m)-et a Taylor-sor és az Euler-Mascheroni-állandó $\gamma =0.57721...$ segítségével becsülhetjük meg:

Az MFDR és a fenti képletek használatával, a korrigált MFDR (AFDR) az m-függő tesztek min($\alpha$ átlaga) értéke = $\frac{\mathrm{M}\mathrm{F}\mathrm{D}\mathrm{R}}{c(m)}$ . A függőség kezelésének másik módja a bootstrapping és az újbóli randomizálás.

Tulajdonságok

Adaptív és skálázható

Az FDR-t kontrolláló többszörös összehasonlító eljárások adaptívak és skálázhatóak. Ez azt jelenti, hogy az FDR kontrollálása lehet nagyon megengedő (ha az adatok ezt igazolják) vagy konzervatív (az FWER kontrollálása esetén) -mindez a tesztelt hipotézisek számától és a szignifikancia szintjétől függ.

Az FDR kritérium úgy igazodik, hogy ugyanannyi hamis felfedezésnek (V) különböző következtetései legyenek, a felfedezések teljes számától (R) függően. Ez ellentétes az FWER kritériummal. Például ha 100 hipotézist vizsgálunk (pl. 100 genetikai mutációt, amelyek valamilyen populáció valamilyen fenotípusához kapcsolódnak):

• Ha 4 felfedezést teszünk (R), akkor ezek közül 2 hamis felfedezés (V) nagyon költséges, míg
• Ha 50 felfedezést teszünk (R), akkor ezek közül 2 hamis felfedezés (V) általában nem túl költséges

Az FDR kritérium skálázható, mivel az összes felfedezés (Q) hamis felfedezései ugyanolyan arányban maradnak szenzitívek az össze felfedezés különböző számaira (R). Például:

• Ha 100 felfedezést teszünk (R), akkor 5 hamis felfedezés (q = 5%) nem túl költséges;
• Hasonlóképpen, ha 1000 felfedezést teszünk (R), akkor 50 hamis felfedezés (q = 5%) szintén nem túl költséges.

Függőség a tesztstatisztikák között

Az FDR kontrollálása lineáris emelkedő BH-eljárással q szinten számos tulajdonsággal rendelkezik az m null hipotézis teszt-statisztikái közötti struktúrához kapcsolódva, amelyek javításra kerülnek. Amennyiben a tesztstatisztika:

• Független: $\mathrm{F}\mathrm{D}\mathrm{R}\le \frac{m_0}{m}q$

• Független és folytonos: $\mathrm{F}\mathrm{D}\mathrm{R}=\frac{m_0}{m}q$

• Pozitív-függő: $\mathrm{F}\mathrm{D}\mathrm{R}\le \frac{m_0}{m}q$

• Általános esetben: $\mathrm{F}\mathrm{D}\mathrm{R}\le \frac{m_0}{m}q/(1+\frac{1}{2}+\frac{1}{3}+\cdots +\frac{1}{m})\approx \frac{m_0}{m}q/(\ln (m)+\gamma +\frac{1}{2m})$, ahol $\gamma$ az Euler–Mascheroni-állandó.

Az igaz hipotézisek aránya

Amennyiben az összes nullhipotézis igaz ($m_0=m$), az FDR kontrollálása q szinten garantálja az FWER feletti ellenőrzést (az FWER „gyenge kontrolljának” is nevezik): $\mathrm{F}\mathrm{W}\mathrm{E}\mathrm{R}=P(V\ge 1)=E\left(\frac{V}{R}\right)=\mathrm{F}\mathrm{D}\mathrm{R}\le q$, mivel legalább egy igaz nullhipotézis elutasításának esete $\{V\ge 1\}$ megegyezik $\{V/R=1\}$ esettel, és $\{V=0\}$ esete megegyezik $\{V/R=0\}$ (ahol $V=R=0$, $V/R=0$ definíció alapján). Amennyiben viszont van valódi felfedezés ($m_0<m$), akkor $FWER\ge FDR$. Ebben az esetben helye lesz a detektálási teljesítmény javításának. Ez azt is jelenti, hogy minden olyan eljárás, amely az FWER-t ellenőrzi, az FDR-t is ellenőrzi.

Kapcsolódó fogalmak

Az FDR felfedezését sok más típusú hibaarány előzte meg és követte. Ezek a következők:

• PCER (per-comparison error rate – összehasonlításonkénti hibaarány), amelynek definíciója: $\mathrm{P}\mathrm{C}\mathrm{E}\mathrm{R}=E\left[\frac{V}{m}\right]$. Az egyes hipotézisek egyenként történő tesztelése az $\alpha$ szinten garantálja, hogy: $\mathrm{P}\mathrm{C}\mathrm{E}\mathrm{R}\le \alpha$ (ebben az esetben nem alkalmazunk korrekciót a multiplicitásra).

• FWER (familywise rate error), amelynek definíciója: $\mathrm{F}\mathrm{W}\mathrm{E}\mathrm{R}=P(V\ge 1)$, kontrollálására számos eljárás létezik.

• $Q^{\prime }$: A hamis felfedezések aránya a felfedezések között Soric (1989) javaslatára, definíciója: $Q^{\prime }=\frac{E[V]}{R}$ . Ez az elvárások és felismerések keveréke, és problémás a kontrollálás, mivel $m_0=m$.
• $k\text{-FDR}$: Sarkar (2007) által általánosított FDR-ként is emlegetett eljárás, definíciója: $k\text{-FDR}=E\left(\frac{V}{R}{I}_{(V>k)}\right)\le q$.
• ${\mathrm{F}\mathrm{D}\mathrm{R}}_{-1}$: Benjamini és Hochberg használták először, Efron (2008) később „Fdr”-nek hívta. Definíciója: ${\mathrm{F}\mathrm{D}\mathrm{R}}_{-1}=Fdr=\frac{E[V]}{E[R]}$. Ezt a hibaarányt nem lehet szigorúan kontrollálni, mert mikor $m=m_0$, akkor értéke 1.
• ${\mathrm{F}\mathrm{D}\mathrm{R}}_{+1}$: Benjamini és Hochberg használták először, Storey (2002) később „pFDR” -nek hívta. Definíciója: ${\mathrm{F}\mathrm{D}\mathrm{R}}_{+1}=pFDR=E[\frac{V}{R}|R>0]$. Ezt a hibaarányt nem lehet szigorúan kontrollálni, mert mikor $m=m_0$, akkor értéke 1.
• Hamis túllépési arány: Az FDR farok-valószínűségének értéke. Definíciója: $\mathrm{P}(\frac{V}{R}>q)$
• $W\text{-FDR}$ (súlyozott FDR): Minden i hipotézishez tartozik egy súly $w_i\ge 0$ , ahol a súlyok a fontosságot/árat jelölik. Definíciója: $W\text{-FDR}=E\left(\frac{\sum w_i{V}_i}{\sum w_i{R}_i}\right)$.
• Sablon:Math (False Discovery Cost Rate): Statisztikai folyamat-kontrollálásból ered. Minden i hipotézishez tartozik egy ár ${\mathrm{c}}_i$ és egy kereszt-hipotézis $H_{00}$ $c_0$ árral. A motivációja, hogy a folyamat leállítása fix költségekkel járhat. Definíciója: $\mathrm{F}\mathrm{D}\mathrm{C}\mathrm{R}=E(c_0{V}_0+\frac{\sum c_i{V}_i}{c_0{R}_0+\sum c_i{R}_i})$.
• Sablon:Math (per-family error rate), definíciója: $\mathrm{P}\mathrm{F}\mathrm{E}\mathrm{R}=E(V)$.
• Sablon:Math (False non-discovery rates), Genovesse & Wasserman (2002) nevéhez fűződik, definíciója: $\mathrm{F}\mathrm{N}\mathrm{R}=E\left(\frac{T}{m-R}\right)=E\left(\frac{m-m_0-(R-V)}{m-R}\right)$.
• $\mathrm{F}\mathrm{D}\mathrm{R}(z)$, definíciója: $\mathrm{F}\mathrm{D}\mathrm{R}(z)=\frac{p_0{F}_0(z)}{F(z)}$.

Hamis lefedettségi arány

A hamis lefedettségi arány (false coverage rate; FCR) az FDR-analógja a konfidencia-intervallumnál. Az FCR a hamis lefedettség átlagos arányát jelöli, vagyis nem fedi le a valódi paramétereket a kiválasztott intervallumok között. Az FCR egyidejűleg biztosít lefedettséget 1 – $\alpha$ szinten a problémában figyelembe vett összes paraméter számára. Azok az intervallumok, amelyek egyidejű lefedettséget biztosítanak 1 – q szintjén, szabályozhatják az FCR-t úgy, hogy a q-val határolják. Több FCR-eljárás is létezik, mint: Bonferroni-eljárás (Bonferronival kiválasztott, Bonferronival korrigált); BH-val kiválasztott és FCR-rel korrigált konfidenciaintervallumok (Benjamini és Yekutieli (2005), Bayes FCR (Yekutieli, 2008) és egyéb Bayes-módszerek.

Bayesiánus módszerek

Az FDR és Bayes-féle megközelítések összekapcsolódtak (beleértve az empirikus Bayes-módszereket), megadva a Wavelet-együtthatók és a modellválasztás küszöbértékét, valamint általánosítva a konfidencia-intervallumot az FCR-be.