Logisztikus regresszió

Logisztikus regresszió
Természet Regresszió
Alosztály Regressziós modell ( d ) , általánosított lineáris modell
Feltaláló Joseph Berkson

A logisztikai regresszió vagy logit modell egy modell regressziós binomiál. Mint minden binomiális regressziós modell esetében, itt is legfeljebb egy egyszerű matematikai modell modellezéséről van szó, sok valós megfigyeléssel. Más szavakkal, egy általánosan jegyzett binomiális véletlen változó társítása egy véletlen változók vektorával . A logisztikai regresszió az általánosított lineáris modell speciális esete . Széles körben használják a gépi tanulásban .

Történelem

De Palma és Thisse szerint a logit modell első említése Joseph Berksontól származik 1944-ben és 1951-ben.

Alkalmazások

A logisztikai regresszió sok területen elterjedt. Nem kimerítő módon idézhetjük:

Például Vincent Loonis logisztikai regressziós modellt használ a francia képviselők újraválasztásának meghatározó tényezőinek tanulmányozására a III e Köztársaság kezdetétől fogva .

A modell

Jelölések

Vagy a megjósolni kívánt változó (magyarázott változó) és a prediktív változók (magyarázó változók).

A bináris logisztikai regresszió keretében a változó két lehetséges modalitást vesz igénybe . A változók kizárólag folytonosak vagy binárisak.

Alapfeltevés

A logisztikai regresszió a következő alapvető hipotézisre épül, ahol felismerjük az IJ Good , ET Jaynes és Myron Tribus által a Bayes-i következtetés céljából népszerűsített "bizonyítéknak" nevezett mértéket , elkerülve a [0,1] folyamatos renormalizációját:

ahol a változók által vett értékeket képviselik .

Az eloszlások nagy osztálya felel meg ennek a specifikációnak, például a lineáris diszkrimináns elemzésben leírt multinormális eloszlásnak , de más eloszlásoknak is, különösen azoknak, ahol a magyarázó változók logikai (0/1).

A mindig diszkrimináns elemzéshez képest már nem a feltételes sűrűségeket és a modellezéseket végezzük, hanem e sűrűségek arányát. A hipotézis által bevezetett korlátozás kevésbé erős.

A LOGIT modell

A fenti specifikáció más módon is írható. Jelöljük a kifejezés LOGIT az a következő kifejezés

Valóban, a fenti egyenlet átalakítása után megkapjuk

Megjegyzés: A kifejezések egyenértékűsége

Két különböző kifejezésből indultunk, hogy elérjük a logisztikai modellt. Itt figyelhetjük meg az együtthatók és az egyezőséget . Térjünk vissza a LOGIT-ra

Ezt észrevesszük

Becslés - A legnagyobb valószínűség elve

Adatfájlból meg kell becsülnünk a LOGIT függvény együtthatóit . Nagyon ritka, hogy minden lehetséges kombináció esetén , még akkor is, ha ezek a változók mind binárisak, elegendő megfigyelés van a valószínűségek megbízható becsléséhez és . A szokásos legkisebb négyzetek módszer kizárt. A megoldás egy másik megközelítésen megy keresztül: a valószínűség maximalizálásán.

A csoporthoz tartozó egyén valószínűsége , amelyet a valószínűséghez való hozzájárulásként is felfoghatunk, a következőképpen írható le:

Ezután a minta valószínűségét felírják:

Azok a paraméterek, amelyek ezt a mennyiséget maximalizálják, a logisztikai regresszió maximális valószínűség-becslői.

Becslés a gyakorlatban

A gyakorlatban a szoftver hozzávetőleges eljárást alkalmaz a fenti maximalizálás kielégítő megoldásának elérésére. Ez magyarázza azt is, hogy miért nem mindig adnak szigorúan együtthatókat. Az eredmények az alkalmazott algoritmustól és a számítás paraméterezése során elfogadott pontosságtól függenek.

A következőkben a megbecsülendő paraméterek vektorát jelöljük . A legismertebb eljárás a Newton-Raphson módszer, amely iteratív gradiens módszer (lásd: Optimalizálási algoritmus ). A következő összefüggésen alapul:

Ez az utolsó mátrix, az úgynevezett Hessian-mátrix érdekes, mert inverze a varianciakovariancia-mátrix becslését reprezentálja . A különböző hipotézisvizsgálatok során felhasználják az együtthatók jelentőségének felmérésére.

Mátrix formában:

Értékelés

Zavarzási mátrix

Cél egy olyan modell előállítása, amely lehetővé teszi a kategorikus változó által felvett értékek lehető legnagyobb pontossággal történő megjóslását, a modell minőségének értékelésére pedig egy kitüntetett megközelítés lenne az előrejelzett értékek összehasonlítása a valódi értékek  : a zavartsági mátrix szerepe . Ezután levezetünk egy egyszerű mutatót, a hibaarányt vagy a rossz osztályozási arányt, amely a rossz előrejelzések száma és a minta nagysága közötti arány.

Amikor a zavaros mátrix azokra az adatokra épül, amelyeket a modell felépítéséhez használtak, a hibaarány gyakran túl optimista, nem tükrözi a modell tényleges teljesítményét a populációban. Annak érdekében, hogy az értékelés ne legyen elfogult, célszerű ezt a mátrixot külön mintára építeni, úgynevezett tesztmintára. A képzési mintával szemben nem vesz részt a modell felépítésében.

A módszer legfőbb előnye, hogy lehetővé teszi bármely osztályozási módszer összehasonlítását, és ezáltal annak kiválasztását, amely egy adott problémával szemben a leghatékonyabbnak bizonyul.

A regresszió statisztikai értékelése

Lehetséges egy valószínűségi séma alkalmazása a modell érvényességére vonatkozó hipotézisvizsgálatok elvégzésére. Ezek a tesztek a maximális valószínűség-becslők aszimptotikus eloszlásán alapulnak .

A modell általános jelentőségének ellenőrzéséhez bevezethetünk egy tesztet, amely analóg a többszörös lineáris regresszió értékelésével. A nullhipotézist megírják , amely ellentétes az alternatív hipotézissel  : az együtthatók közül legalább az egyik nem nulla

A statisztikai valószínűség aránya van írva , hogy a jogszabályi előírásoknak és a szabadsági fokok.

Ha a kritikus valószínűség ( p-érték ) alacsonyabb, mint az általunk beállított szignifikancia szint, akkor azt tekinthetjük, hogy a modell globálisan szignifikáns . Meg kell nézni, hogy mely változók játszanak szerepet ebben a kapcsolatban.

Az együtthatók egyedi értékelése

Abban az esetben, ha egy változó jelentős szerepét próbálja kipróbálni. A következő tesztet hajtjuk végre , ellen .

A WALD statisztika megfelel ennek a tesztnek, meg van írva , egy bizonyos fokú törvényt követ .

Megjegyzés  : Az együttható becsült varianciáját a korábban látott Hessian-mátrix inverzében olvassuk le.

Együttható blokk értékelése

A fenti két teszt az együttható-blokk szignifikancia tesztjének speciális esete. A "deviancia" kritériumából adódnak, amely összehasonlítja a jelenlegi modell és a telített modell (az összes paraméterrel rendelkezõ modell) valószínûségét.

A nullhipotézist ebben az esetben írják le , ahol együtthatók halmazát jelölik egyidejűleg nullán.

A tesztstatisztika egy bizonyos fokú törvényt követ .

Ez a teszt nagyon hasznos lehet, ha egy kategorikus magyarázó változó és modalitások szerepét akarjuk tesztelni a modellben. Az átkódolás után hatékonyan bevezetjük a dummy változókat a modellbe. A kategorikus változó egészének szerepének értékeléséhez, tekintet nélkül a figyelembe vett modalitásra, egyszerre kell tesztelnünk a mutatóváltozókhoz tartozó együtthatókat.

Egyéb értékelések

A logisztikai regresszió tekintetében más értékelési eljárásokat szoktak idézni. Megemlítjük többek között a Hosmer-Lemeshow tesztet, amely a megfigyelések rendezéséhez a „pontszámra” (a csoporthoz rendelés valószínűségére) támaszkodik. Ebben hasonlít más tanulási értékelési módszerekhez, például az ROC görbékhez, amelyek sokkal gazdagabbak az információkban, mint az egyszerű összetévesztési mátrix és a kapcsolódó hibaarány.

Egy példa

A Logistic Regression online tanfolyam webhelyén (Paul-Marie Bernard, Quebeci Egyetem - 5. fejezet ) rendelkezésre álló adatokból felépítettünk egy jóslási modellt, amelynek célja a csecsemő születésének "alacsony súlya (igen / nem)" magyarázata. A magyarázó változók a következők: FÜST (függetlenül attól, hogy dohányzik-e a terhesség alatt vagy sem), PREM (koraszülöttek kórtörténete a korábbi szülésnél), HT (a hipertónia kórtörténete), VISIT (az orvoshoz tett látogatások száma a terhesség első trimeszterében), KOR (anya életkora), PDSM (anya súlya az utolsó menstruáció időszakában), SCOL (anya iskolai végzettsége: = 1: <12 éves, = 2: 12-15 éves, = 3:> 15 éves) .

Az összes magyarázó változót folyamatosnak tekintették ebben az elemzésben. Bizonyos esetekben, például a SCOL, jobb lehet, ha dummy változóként kódoljuk őket.

Az eredmények elolvasása

Az eredményeket a következő táblázat mutatja.

Az adatfájlon a logisztikai regresszió futtatásának eredményei

Ez az első elemzés finomítható a változók kiválasztásával, egyes változók egyidejű szerepének tanulmányozásával stb. A logisztikai regresszió sikere nagyrészt az általa kínált értelmezési eszközök sokaságán alapul. Az esélyek, az esélyhányadok és a relatív kockázat fogalmaival , amelyeket dichotóm, folytonos változókra vagy változók kombinációira számolnak, a statisztikus finoman elemezheti az okozati összefüggéseket, és kiemelheti azokat a tényezőket, amelyek valóban meghatározzák a meghatározandó változót.

Telepítés

Új személy besorolásához Bayes-szabályt kell alkalmaznunk:

ha

Ami ekvivalens

ha

Ha figyelembe vesszük a LOGIT függvényt, akkor ez az eljárás a hozzárendelési szabályra támaszkodik:

ha

Vegyük a következő megfigyelést = (FÜST = 1 "igen"; PREM = 1 "koraszülött az anya történetében"; HT = 0 "nem"; LÁTOGATÁS = 0 "nincs látogatás az orvosnál a terhesség első trimeszterében" ; KOR = 28; PDSM = 54,55; SCOL = 2 "12 és 15 év között").

A fenti egyenletet alkalmazva azt találjuk . A modell ennélfogva alacsony születési súlyú babát jósol az illető számára.

Ez indokolt, mivel az iratunk 131. számú megfigyelése, és gyakorlatilag alacsony súlyú gyermek születését eredményezte.

Felépülés

A fenti elosztási szabály akkor érvényes, ha a mintát véletlenszerűen választják ki a sokaságból. Nem mindig ez a helyzet. Számos területen először osztályméreteket állítunk be , majd az egyes csoportokban adatokat gyűjtünk. Ezt retrospektív rajznak nevezzük . Ezért folytatni kell a kiigazítást. Ha a logit függvény változóihoz társított együtthatók nem módosulnak, akkor az állandót viszont korrigálni kell, figyelembe véve az egyes osztályok számát ( és ), valamint a valódi a priori valószínűségeket és (lásd az alábbi hivatkozásokat) ).

Változatok

A logisztikai regresszió közvetlenül érvényes, ha a magyarázó változók folyamatosak vagy dichotómok. Ha kategorikusak, akkor átkódolást kell végrehajtani. A legegyszerűbb a bináris kódolás. Vegyünk egy élőhely-változó példáját, vegyünk három modalitást {város, periféria, mások}. Ezután két bináris változót hozunk létre: „habitat_ville”, „habitat_periphery”. Az utolsó modalitást a másik kettőből vezetjük le, amikor a két változó egyszerre veszi fel a 0 értéket, ez azt jelzi, hogy a megfigyelés megfelel az „élőhely = mások” értéknek.

Végül lehetséges egy logisztikai regresszió végrehajtása a K (K> 2) kategóriákat tartalmazó kategorikus változó értékeinek előrejelzésére. Politomos logisztikai regresszióról beszélünk. Az eljárás egy referenciacsoport kijelölésén alapul, majd (K-1) lineáris kombinációkat állít elő az előrejelzéshez. Az együtthatók értelmezése ebben az esetben kevésbé nyilvánvaló.

Hivatkozások

  1. (in) Joseph Berkson , A logisztikai funkció alkalmazása a Bio-esszére  " , Journal of the American Statistics Association , vol.  39, 1944, P.  357-365
  2. (in) Joseph Berkson , Miért én inkább logits hogy probitanalízise  " , biometria , Vol.  7, 1951, P.  327-329
  3. André de Palma és Jacques-François Thisse , "  A diszkrét választások modelljei  ", Annales d'Economie et de statistique ,1989( online olvasás )
  4. Vincent Loonis , "  A francia képviselők újraválasztásának meghatározó tényezői 1871 és 2002 között  ", Histoire & Mesure , vol.  21, n o  1,2006( online olvasás , konzultáció 2012. január 18-án )

Bibliográfia

Lásd is

Kapcsolódó cikkek

<img src="https://fr.wikipedia.org/wiki/Special:CentralAutoLogin/start?type=1x1" alt="" title="" width="1" height="1" style="border: none; position: absolute;">