Természet | Hipotézis teszt |
---|---|
Alosztály | Nem paraméteres teszt ( d ) |
A statisztikákban egy χ 2 tesztet mondunk ki : "chi-square" vagy "chi-square" , egy statisztikai próba , ahol a vizsgálati statisztika következik eloszlása a χ 2 alatt nullhipotézist .
Például lehetővé teszi egy adatsor megfelelőségének tesztelését a valószínűségi törvények családjához vagy két véletlen változó közötti függetlenség tesztelését .
Ezt a tesztet Karl Pearson statisztikus javasolta 1900-ban.
A klasszikus statisztikai teszt alapján megfogalmazódik egy nullhipotézisnek (vagy nulla hipotézisnek ) nevezett hipotézis , amelyet H 0-nak jelölünk . Feltételezi, hogy a figyelembe vett adatok véletlenszerű változókból származnak, amelyek egy adott valószínűségi törvényt követnek, és szeretnénk tesztelni ennek a feltételezésnek az érvényességét.
Mivel ezeket az adatokat osztályokba osztották, a következőkre van szükség:
Ha a megfigyelt és az elméleti adatok közötti kiszámított távolság nagyobb, mint a kritikus távolság, arra a következtetésre jutunk, hogy az eredmény nem csak a mintavételi ingadozásoknak tudható be, és a nullhipotézist H 0 el kell utasítani. Az elején választott kockázat az, hogy hamis választ ad, ha az egyetlen oka a mintavételi ingadozásoknak. Az elutasítás nyilvánvalóan negatív válasz a megfelelőségi és homogenitási tesztekben, de pozitív információt nyújt a függetlenségi tesztekben. Ezeknél megmutatja a különbség jelentőségét, ami különösen érdekes egy betegség kezelésére szolgáló tesztekben.
Ez a teszt lehetővé teszi annak ellenőrzését, hogy egy Y véletlen változó mintája ad-e megfigyeléseket, amelyek összehasonlíthatók az a priori P valószínűségi törvény törvényeivel , amelyek elméleti vagy gyakorlati okokból úgy gondoljuk, hogy Y törvénynek kell lennie . A null-hipotézis ( H 0 ) egy teszt a d” hirdetési 2 illeszkedés (más néven teszt χ 2 megfelelőségi vagy vizsgálatára χ 2 illeszkedés) tehát a következő: a valószínűségi változó Y törvényét követi a valószínűség P.
A p-érték tekintetében a nullhipotézist (a megfigyelés elég közel áll az elmélethez) általában elutasítják, ha p ≤ 0,05 .
Megfigyeljük az Y 1 , ..., y N adatmintát egy véletlen Y változóból, amely véges számú J értéket vesz fel . A következő nullhipotézist szeretnénk tesztelni: „annak a valószínűsége, hogy Y felveszi a j értéket , j esetén 1 és J között változik . Azt az empirikus valószínűséget nevezzük, hogy Y felveszi a j értéket , vagyis a mintában szereplő j értéket felvevő megfigyelések számát elosztva a megfigyelések teljes N számával :
Ezután meghatározhatjuk a χ 2 statisztikáját :
.Az null hipotézist, ez a statisztika aszimptotikusan következik egy törvénye χ 2 a ( J - 1) szabadsági fok.
Mi ezért építeni egy teszt szintű α elutasításával a null hipotézist, amikor a vizsgálati statisztika nagyobb, mint a kvantilis sorrendben 1 - α törvény χ 2 at ( J - 1) szabadsági fok: T ≥ F–1
χ 2 ( J - 1)(1 - α ) a F–1
χ 2 ( J - 1)(1 - α ) a kvantilise sorrendben 1 - α törvény χ 2 at ( J - 1) szabadsági fok.
Csak akkor adja a fő érvek, amellyel azt mutatják, hogy az nullhipotézis, a törvény a T konvergál törvénye χ 2 a ( J - 1) szabadsági fokkal. Az előző jelölésekkel, legyen Y ezért egy véletlen változó olyan, hogy j változó 1 és J , P ( Y = j ) = p j . A következő véletlenszerű vektort vesszük figyelembe:
a fentiek szerint:
Ha jelöljük ( Z (1) , ..., Z ( J ) ) komponenseinek Z , ellenőrizzük, hogy:
mind én , mind én , bármely i eltérő j ,Más szavakkal, Z egy központosított véletlenszerű vektor, amelynek kovarianciás mátrixa ott van , ahol az egyik a komponensek oszlopát jelenti .
Ha a minta áll rendelkezésre y 1 , ..., y N a változó Y , vezetjük le egy mintát Z 1 , ..., Z N a változó Z . A központi határtétel ezután lehetővé teszi annak megállapítását, hogy a konvergencia törvénye konvergál a kovariancia mátrixú center központosított normális törvény felé, amikor az N a végtelenbe hajlik. De ez a törvény nem más, mint egy véletlenszerű vektor vetülete egy normál törvény szerint, amelynek középpontjában a hipersíkra √ p-re ( J- 1 dimenzió terére) merőlegesen redukálunk . Szerint a Cochran-tétel , a tér ezen nyúlvány Ezután egy törvénye χ 2 a ( J - 1) szabadsági fok. Ez a tér a határ törvény nem más, mint a T .
A statisztikai adatsorok és az a priori meghatározott valószínűségi törvény közötti megfelelőség megítéléséről van szó . Általános esetben ez a törvény lehet egy véletlen Y változó , amely megszámlálható számú értéket vesz fel (például egy Poisson- törvény vagy egy geometriai törvény ), vagy egy folytonos véletlen változó (például egy exponenciális törvény vagy egy normális törvény) ).
Alkalmazni az előző módszert, amely Y vesz véges számú J értékek elosztjuk az értékrendet, amit y vehet figyelembe J osztályok. Például a megfelelőség Poisson-eloszlással történő teszteléséhez felvehetjük a {0}, {1}, ..., { J -2}, { n > J -2} osztályokat . Ezután azt az empirikus valószínűséget jelöljük, hogy Y a j osztályba tartozik , és p j a hozzá tartozás elméleti valószínűségét. Ezután alkalmazhatjuk az előző tesztet. Az osztályoknak elég nagyoknak kell lenniük ahhoz, hogy ne veszítsenek el túl sok információt, de fordítva, hogy megfeleljenek a módszer által megkövetelt feltételeknek, nem lehetnek túl kicsik. Elméletileg a számoknak végtelennek kellene lenniük a normális törvény alkalmazásához, de általánosan elfogadott, hogy minden osztályban 5 elemre van szükség. Erről a szabályról sokat vitattak, és az tűnik a legtöbb szavazatot elnyerőnek, ami Cochrannak köszönhető: az osztályok 80% -ának meg kell felelnie az öt elem szabályának, míg a többi nem üres.
A kritérium a referencia eloszlásból levezetett Np i- re vonatkozik, és nem az elemzett adatok n i értékére. Gyakran nehézségek nélkül elégedett, mert a hisztogram felépítésével ellentétben az osztályok szélességén lehet játszani.
Ha az elméleti valószínűségi törvény a teszt idején ismeretlen paraméterektől (átlag, variancia ...) függ, az adatok felhasználhatók ezek becslésére, ami megkönnyíti az illeszkedést. Ezután csökkenteni kell a becsült paraméterek számának szabadságfokát. Ha vannak s ismeretlen paramétereket, a több szabadsági fokkal lesz J - s - 1 . Így az ismeretlen paraméterű Poisson-törvény megfelelőségének példájában képesek leszünk megbecsülni ennek a paraméternek az értékét az Y empirikus átlagával , de az alkalmazandó χ 2 törvénynek ugyanannyi foka lesz. a szabadságot a D- 2-n a D- 1 helyett .
A kockadarab egymás utáni dobása a következő eredményeket hozta:
rajzolt szám | 1 | 2 | 3 | 4 | 5. | 6. |
---|---|---|---|---|---|---|
munkaerő | 88 | 109. | 107. | 94. | 105 | 97 |
A szabadságfokok száma 6 - 1 = 5. Szeretnénk tesztelni azt a hipotézist, miszerint a szerszám nincs összekötve, kockázata α = 0,05 . A korábban definiált T változó itt veszi az értéket . A χ 2 törvény öt szabadságfok mellett megadja azt az értéket, amely alatt a huzat megfelel az α = 0,05 kockázatnak : P ( T <11,07) = 0,95 . Mivel 3,44 <11,07 , itt nem vesszük figyelembe, hogy a szerszámot elcsavarják.
Másrészt, figyelembe véve a következő sorsolást:
rajzolt szám | 1 | 2 | 3 | 4 | 5. | 6. |
---|---|---|---|---|---|---|
munkaerő | 89 | 131 | 93. | 92 | 104 | 91 |
A korábban definiált T változó itt veszi az értéket . Mivel 12,92> 11,07 , azt gondolhatjuk, hogy a szerszám el van kötve.
Egy véletlen Y változót tekintünk pozitív vagy nulla egész számra. A változó 100 értékű mintája a következőképpen oszlik el:
Y érték | 0 | 1 | 2 | 3 | 4 |
---|---|---|---|---|---|
munkaerő | 31 | 45 | 16. | 7 | 1 |
Tesztelni akarjuk azt a hipotézist, amely szerint Y Poisson-eloszlást követ , kockázattal α = 0,05 . Ennek a Poisson-törvénynek az értékét az Y empirikus várakozásának kiszámításával kapjuk meg , amely itt λ = 1,02-et ad . Mivel ez a paraméter itt becslés tárgya, a szabadság fokainak száma egy egységgel csökken. A Poisson-eloszlás várható értékei a λ paraméterrel :
értékek | 0 | 1 | 2 | 3 vagy több |
---|---|---|---|---|
munkaerő | 36.06 | 36,78 | 18.76 | 8.40 |
Csoportosítjuk a 3-nál nagyobb vagy azzal egyenlő diákokat ugyanabban az osztályban, a 4-nél nagyobbak pedig túl kicsiek. A T változó ekkor a 2.97 értéket veszi fel. Azonban a χ 2 törvénye két szabadságfokkal P ( T <5,99) = 0,95 . Ezért nem utasítjuk el azt a hipotézist, hogy a követett törvény Poisson.
A kérdés itt az, hogy két azonos N számmal rendelkező számlista származhat-e ugyanabból a valószínűségi törvényből. A nullhipotézis (H 0 ) a következő: a két minta két véletlen változóból származik, ugyanazon törvény szerint.
A p-érték tekintetében a nullhipotézist általában elutasítják, ha p ≤ 0,05 .
A korábbi módszer alkalmazása helyett a kifejezés Np i kapcsolatos a valószínűsége törvény által N ' i kapcsolatos a második listában, és a χ 2 adják .
Ezt a jelölést az adekvátossági teszthez használt ihletés inspirálta, amelyet maga a multinomiális törvény klasszikus jelölése vezetett le. Itt, akárcsak a függetlenségi tesztben, a valószínűség fogalma már nem jelenik meg kifejezetten. Sok felhasználó, ezért inkább elfogadja a jelölést, amely felhasználja a szimbólumokat O i a megfigyelt értékek és az E i a várható értékek, ami a kifejezés .
Ha több számlistánk van, amelyek mindegyike különböző méretű, és meg akarjuk próbálni, hogy ezek a listák ugyanazt a valószínűségi törvényt követik-e, akkor az alábbiakban ismertetett függetlenségi tesztet alkalmazzuk. Valóban annak tesztelésére van szükség, hogy a valószínűségi eloszlás Y különféle módozatai függetlenek-e X listáktól.
Ez a teszt igazolja két statisztikai kapcsolat hiányát az X és Y változó között . Mindkettő függetlennek mondható, ha nincs statisztikai kapcsolat közöttük, más szóval az X ismerete semmilyen módon nem uralkodik Y felett . A teszt nullhipotézise (H 0 ) a következő: a két változó X és Y független.
A p-érték tekintetében a nullhipotézist általában elutasítják, ha p ≤ 0,05 .
Itt két véletlen változót veszünk figyelembe: X és Y, és tesztelni akarjuk, hogy ez a két változó független-e. Például X a lakosság kategóriáját jelöli (bérkereső, alkalmazott, gazdálkodó, vezető menedzser, munkanélküli stb.), Y pedig egy meghatározott kritériumot (például a különféle zárójelben elosztott jövedelmet). A tesztelni kívánt hipotézis az egyén X-hez tartozó populációja és a kritérium Y értéke közötti függetlenség . A hipotézis tehát azt állítja, hogy az egyén populációs kategóriájának ismerete nem befolyásolja a kritériumok értékét.
Állítólag X és Y véges számú I – X , J – Y értéket vesz fel . N adatból vettünk mintát . Jelöljük O ij-vel azt a megfigyelt adatok számát, amelyekre X felveszi i , Y értéke j értéket . A függetlenségi feltételezés szerint várható E ij értéket határozunk meg az alábbiak szerint:
vagy
(azon adatok száma, amelyekre X = i )és
(azon adatok száma, amelyekre Y = j )A megfigyelt O ij (vagy empirikus értékek) és a várható értékek közötti távolságot, ha E ij (vagy elméleti értékek) léteznének, a képlet segítségével számoljuk ki:
Megmutatjuk, hogy a T törvény aszimptotikusan követi a ( I - 1) ( J - 1) szabadság fokán χ 2 törvényt .
Az I × J dobozok táblázatának függetlenségi próbája egyenértékű az Ep ij valószínűségek multinomiális eloszlásának megfelelőségi tesztjével, amelyet p ij = E ij / N = p i + p + j becsült meg H 0 szerint , ami ezért d '' becslést igényel I - 1 értékek között p 1+ , ..., p I + (az I e kényszeríti ) és J - 1 értékeket igényel p +1 , ..., p + J között(a J e- t kényszeríti ). Ezért kezdetben I × J - 1 szabadságfokkal rendelkezünk a táblázat I × J mezőinek kitöltésével , amelyekből le kell vonnunk az ( I - 1) + ( J - 1) paraméterbecsléseket (lásd a # szakasz utolsó bekezdését ) A fenti általános eset ), amely az ( I × J - 1) - ( I - 1) - ( J - 1) = I × J - I - J + 1 = ( I - 1) szabadságfokok teljes számát adja meg ( J - 1) .
Vegyünk például két változót: X és Y , X felveszi az A vagy B értékeket, és Y az egész számokat 1-től 4-ig veszi. Különböznek- e A és B eloszlása ? A változók előfordulásának ábrázolása egy kontingenciatáblán lehetővé teszi a kérdés szemléltetését.
1 | 2 | 3 | 4 | Teljes | |
---|---|---|---|---|---|
NÁL NÉL | 50 | 70 | 110 | 60 | 290 |
B | 60 | 75 | 100 | 50 | 285 |
Teljes | 110 | 145 | 210 | 110 | 575 |
Ebben a példában azt vesszük észre, hogy a B számai magasabbak, mint az A alacsony Y értékű osztályokban , és alacsonyabbak a magas Y érték osztályokban . Statisztikailag szignifikáns ez a különbség (vagyis a változók közötti függőség) ? A χ 2 teszt segít megválaszolni ezt a kérdést.
Mi van itt I = 2 és J = 4 , így a χ 2 törvény alkalmazott három szabadsági fokkal. Ha azt kockáztatjuk, hogy tévedünk (tévesen elutasítjuk a nullhipotézist) 5% -kal, akkor a táblázatokban található kritikus érték 7,81. A T változó kiszámítása 2.42. Mivel kisebb, mint a kritikus távolság (7,81), nem kell megkérdőjelezni X és Y függetlenségét , vagyis azt a tényt, hogy az Y értékeinek eloszlása nem függ X értékétől , annak kockázatával tévedés 5%.
Számos szerző kritériumokat javasol annak megállapításához, hogy egy teszt érvényes-e, lásd például: [PDF] The Power of Kategoric Good-Of-Fit Test Statistics p. 19. (2. fejezet 11. oldala), Michael C. Steele. Általában az 1954-es Cochran-kritériumot alkalmazzuk, amely szerint az összes i , j osztálynak nullától eltérő elméleti értékkel kell rendelkeznie ( E i , j ≥ 1 ), és hogy az osztályok 80% -ának elméleti értékének nagyobbnak vagy egyenlőnek kell lennie 5:
Ha az osztályok száma kicsi, ez azt jelenti, hogy az összes osztálynak tartalmaznia kell az elméleti számot, amely nagyobb vagy egyenlő, mint 5.
A minimális elméleti számra más értékeket javasoltak: 5 vagy 10 (Cochran, 1952 ), 10 (Cramér, 1946 ) vagy 20 (Kendall, 1952). Ezek az értékek minden esetben önkényesek.
Néhány szerző szimulációk alapján javasolt kritériumokat, például:
Ez a leggyakrabban használt χ 2 teszt .
A Bayes-módszerek kifejlesztése - az egyetlen, amely kevés adat rendelkezésre állása esetén használható - a psi-tesztnek nevezett valószínűségi tesztet eredményezte, amelyet Myron Tribus rámutat, hogy aszimptotikusan azonos lesz χ 2-vel , mivel az adatok száma növekszik. . A valószínűség arányteszt tehát aszimptotikus teszt, amely azonosvá válik χ 2-vel . Megvizsgálja, hogy van-e bizonyíték arra, hogy át kell váltani egy egyszerű modellről egy összetettebb modellre (vagyis hogy az egyszerű modell be van-e ágyazva egy összetettebb modellbe).
Ez egy pontos teszt, amely összehasonlítható egy χ 2 teszttel .
A χ 2 törvényének használata egy teszt értelmezéséhez P 2 Pearson feltételezi, hogy a binomiális frekvencia diszkrét eloszlása megbecsülhető a χ 2 folyamatos eloszlásával . Ez a feltételezés nem teljesen helyes és hibát vezet be.
A közelítési hiba csökkentése érdekében Frank Yates a folytonosság korrekcióját javasolta, amely kissé módosítja a Pearson légèrement 2 tesztjének képletét azáltal, hogy az egyes megfigyelt értékek és azok várható értéke közötti különbségből levonva 0,5-t egy 2x2 kontingencia tömbben . Ez csökkenti a kapott χ 2 értékét, és ezáltal növeli annak p-értékét .