Átlagos négyzethiba
A statisztikák az átlagos négyzetes hiba egy becslő paraméter dimenzió 1. ( átlagos négyzetes hiba ( ), angol nyelven) olyan intézkedés jellemző „precíziós” E becslő. Gyakrabban "négyzetes hibának" hívják ("jelentése" implicit); néha „másodfokú kockázatnak” is nevezik.
θ^{\ displaystyle {\ hat {\ theta}}}θ{\ displaystyle \ theta}MSE{\ displaystyle \ kezelőnév {MSE}}
A négyzet alapértelmezett hibáját a következő határozza meg:
Definíció - MSE(θ^)=defE[(θ^-θ)2]{\ displaystyle \ kezelőnév {MSE} ({\ hat {\ theta}}) \, {\ overset {\ text {def}} {=}} \, \ mathbb {E} \ left [({\ hat {\ theta}} - \ theta) ^ {2} \ right]}
Tulajdonságok
Kifejezés
Kifejezhetjük az átlagos négyzethibát az elfogultság és a becslő varianciájának függvényében:
Tétel - MSE(θ^)=Elfogultság(θ^)2+Var(θ^){\ displaystyle \ operátornév {MSE} ({\ hat {\ theta}}) = \ operátornév {Bias} ({\ hat {\ theta}}) ^ {2} + \ operátornév {Var} ({\ hat {\ theta}})}
Demonstráció
Először felidézni, hogy és állandók, amely lehetővé teszi a használatát a linearitás elvárás : .
Elfogultság(θ^)=defE(θ^)-θ{\ displaystyle \ kezelőnév {Előítélet} ({\ hat {\ theta}}) \, {\ overset {\ text {def}} {=}} \, \ mathbb {E} ({\ hat {\ theta}} ) - \ theta}E(θ^){\ displaystyle \ mathbb {E} ({\ hat {\ theta}})}E(vs.1x+vs.2)=vs.1E(x)+vs.2{\ displaystyle \ mathbb {E} (c_ {1} X + c_ {2}) = c_ {1} \ mathbb {E} (X) + c_ {2}}
MSE(θ^)=defE[(θ^-θ)2]=E[(θ^-E(θ^)+Elfogultság(θ^))2]=E[(θ^-E(θ^))2+2(θ^-E(θ^))Elfogultság(θ^)+Elfogultság(θ^)2]=E[(θ^-E(θ^))2]+2E(θ^-E(θ^))Elfogultság(θ^)+Elfogultság(θ^)2=Var(θ^)+2(E(θ^)-E(θ^))Elfogultság(θ^)+Elfogultság(θ^)2=Var(θ^)+Elfogultság(θ^)2{\ displaystyle {\ begin {aligned} \ operatornév {MSE} ({\ hat {\ theta}}) \, {\ overset {\ text {def}} {=}} \, \ mathbb {E} \ left [ ({\ hat {\ theta}} - \ theta) ^ {2} \ right] & = \ mathbb {E} \ left [\ left ({\ hat {\ theta}} - \ mathbb {E} ({\ hat {\ theta}}) + \ operátornév {Előítélet} ({\ hat {\ theta}}) \ jobb) ^ {2} \ right] \\ & = \ mathbb {E} \ left [\ left ({\ hat {\ theta}} - \ mathbb {E} ({\ hat {\ theta}}) \ jobbra) ^ {2} +2 \ balra ({\ hat {\ theta}} - \ mathbb {E} ({ \ hat {\ theta}}) \ right) \ operatorname {Bias} ({\ hat {\ theta}}) + \ operatorname {Bias} ({\ hat {\ theta}}) ^ {2} \ right] \ \ & = \ mathbb {E} \ left [\ left ({\ hat {\ theta}} - \ mathbb {E} ({\ hat {\ theta}}) \ right) ^ {2} \ right] +2 \ mathbb {E} \ left ({\ hat {\ theta}} - \ mathbb {E} ({\ hat {\ theta}}) \ right) \ operatorname {Bias} ({\ hat {\ theta}}) + \ operátor neve {Bias} ({\ hat {\ theta}}) ^ {2} \\ & = \ operatorname {Var} ({\ hat {\ theta}}) + 2 \ left (\ mathbb {E} ( {\ hat {\ theta}}) - \ mathbb {E} ({\ hat {\ theta}}) \ right) \ operátornév {Bias} ({\ hat {\ theta}}) + \ operatorname {Bias} ( {\ hat {\ theta}}) ^ {2} \\ & = \ operátornév { Var} ({\ hat {\ theta}}) + \ operátor neve {Bias} ({\ hat {\ theta}}) ^ {2} \ end {aligned}}}
Jel
Következmény - A szórás mindig pozitív, vagy nulla , .
MSE(θ^)≥0{\ displaystyle \ kezelőnév {MSE} ({\ hat {\ theta}}) \ geq 0}
Minimalizálás
Tétel - Vegyük figyelembe a paraméter elfogulatlan becslőjét úgy, hogy (ha a négyzet alapértelmezett hibája nulla, akkor az már minimális, lásd fent a "Jel" részt).
θ¯{\ displaystyle {\ bar {\ theta}}}θ{\ displaystyle \ theta}MSE(θ¯)>0{\ displaystyle \ kezelőnév {MSE} ({\ bar {\ theta}})> 0}
Valamennyi arányos becslő között a négyzet alapértelmezett hibája minimális a becslésnél .
θ¯{\ displaystyle {\ bar {\ theta}}}θˇ=defθ2θ2+MSE(θ¯)θ¯{\ displaystyle {\ check {\ theta}} \, {\ overset {\ text {def}} {=}} \, {\ frac {\ theta ^ {2}} {\ theta ^ {2} + \ operátornév {MSE} ({\ bar {\ theta}})}} {\ bar {\ theta}}}
Ez a minimális átlagos négyzethiba érvényes .
MSE(θˇ)=θ2MSE(θ¯)θ2+MSE(θ¯){\ displaystyle \ kezelőnév {MSE} ({\ check {\ theta}}) = {\ frac {\ theta ^ {2} \ operatornév {MSE} ({\ bar {\ theta}})} {\ theta ^ { 2} + \ operátornév {MSE} ({\ bar {\ theta}})}}}
Demonstráció
Az elfogulatlan becslő definíciója szerint tehát .
E(θ¯)=θ{\ displaystyle \ mathbb {E} ({\ bar {\ theta}}) = \ theta}Var(θ¯)=MSE(θ¯){\ displaystyle \ operátornév {Var} ({\ bar {\ theta}}) = \ operatorname {MSE} ({\ bar {\ theta}})}
Legyen tehát:
θ^α=αθ¯{\ displaystyle {\ hat {\ theta}} _ {\ alpha} = \ alpha {\ bar {\ theta}}}
- által linearitása elvárás , ;E(θ^α)=E(αθ¯)=αE(θ¯)=αθ{\ displaystyle \ mathbb {E} ({\ hat {\ theta}} _ {\ alpha}) = \ mathbb {E} (\ alpha {\ bar {\ theta}}) = \ alpha \ mathbb {E} ( {\ bar {\ theta}}) = \ alfa \ theta}
- által variancia homogenitásának , ;Var(θ^α)=Var(αθ¯)=α2Var(θ¯)=α2MSE(θ¯){\ displaystyle \ operátornév {Var} ({\ hat {\ theta}} _ {\ alpha}) = \ operatorname {Var} (\ alpha {\ bar {\ theta}}) = \ alpha ^ {2} \ operatorname {Var} ({\ bar {\ theta}}) = \ alpha ^ {2} \ operátor neve {MSE} ({\ bar {\ theta}})}
honnan .
MSE(θ^α)=(αθ-θ)2+α2MSE(θ¯)=(α-1)2θ2+α2MSE(θ¯){\ displaystyle \ operátornév {MSE} ({\ hat {\ theta}} _ {\ alpha}) = (\ alpha \ theta - \ theta) ^ {2} + \ alpha ^ {2} \ operatorname {MSE} ( {\ bar {\ theta}}) = (\ alpha -1) ^ {2} \ theta ^ {2} + \ alpha ^ {2} \ operátor neve {MSE} ({\ bar {\ theta}})}
Azáltal, hogy sodródunk a tekintetében , azt találjuk .
α{\ displaystyle \ alpha}MSE′(θ^α)=2(α-1)θ2+2αMSE(θ¯)=2(θ2+MSE(θ¯))α-2θ2{\ displaystyle \ operátornév {MSE} '({\ hat {\ theta}} _ {\ alpha}) = 2 (\ alfa -1) \ theta ^ {2} +2 \ alfa \ operátornév {MSE} ({\ sáv {\ theta}}) = 2 \ bal (\ theta ^ {2} + \ operátornév {MSE} ({\ bar {\ theta}}) \ jobb) \ alpha -2 \ theta ^ {2}}
Feltételezésünk szerint ez a derivált a rendezői együttható lineáris függvénye, amely szigorúan pozitív, ezért törli , szigorúan negatív és pozitív , ezért minimális .
MSE(θ¯)>0{\ displaystyle \ kezelőnév {MSE} ({\ bar {\ theta}})> 0}α0=θ2θ2+MSE(θ¯){\ displaystyle \ alpha _ {0} = {\ frac {\ theta ^ {2}} {\ theta ^ {2} + \ kezelőnév {MSE} ({\ bar {\ theta}})}}}α<α0{\ displaystyle \ alpha <\ alpha _ {0}}α>α0{\ displaystyle \ alpha> \ alpha _ {0}}α0{\ displaystyle \ alpha _ {0}}MSE(θ^α){\ displaystyle \ kezelőnév {MSE} ({\ hat {\ theta}} _ {\ alpha})}
Az átlagos négyzethiba ezért minimális .
θ^α0=θ2θ2+MSE(θ¯)θ¯=defθˇ{\ displaystyle {\ hat {\ theta}} _ {\ alpha _ {0}} = {\ frac {\ theta ^ {2}} {\ theta ^ {2} + \ kezelőnév {MSE} ({\ bar { \ theta}})}} {\ bar {\ theta}} \, {\ overset {\ text {def}} {=}} \, {\ check {\ theta}}}Ez a minimum megéri:
MSE(θˇ)=MSE(θ^α0)=(α0-1)2θ2+α02MSE(θ¯)=(-MSE(θ¯)θ2+MSE(θ¯))2θ2+(θ2θ2+MSE(θ¯))2MSE(θ¯)=θ2MSE(θ¯)2+θ4MSE(θ¯)(θ2+MSE(θ¯))2=(θ2MSE(θ¯))(MSE(θ¯)+θ2)(θ2+MSE(θ¯))2=θ2MSE(θ¯)θ2+MSE(θ¯){\ displaystyle {\ begin {aligned} \ operatornév {MSE} ({\ check {\ theta}}) & = \ operatorname {MSE} ({\ hat {\ theta}} _ {\ alpha _ {0}}) \\ & = (\ alpha _ {0} -1) ^ {2} \ theta ^ {2} + \ alpha _ {0} ^ {2} \ operátor neve {MSE} ({\ bar {\ theta}}) \\ & = \ left (- {\ frac {\ operátornév {MSE} ({\ bar {\ theta}})} {\ theta ^ {2} + \ operatorname {MSE} ({\ bar {\ theta}} )}} \ jobbra) ^ {2} \ theta ^ {2} + \ balra ({\ frac {\ theta ^ {2}} {\ theta ^ {2} + \ kezelőnév {MSE} ({\ bar {\ theta}})}} \ right) ^ {2} \ operátor neve {MSE} ({\ bar {\ theta}}) \\ & = {\ frac {\ theta ^ {2} \ operatorname {MSE} ({\ sáv {\ theta}}) ^ {2} + \ theta ^ {4} \ operátornév {MSE} ({\ bar {\ theta}})}} {\ bal (\ theta ^ {2} + \ operátornév {MSE} ({\ bar {\ theta}}) \ jobbra ^ ^ 2}}} \\ & = {\ frac {\ balra (\ theta ^ {2} \ operátornév {MSE} ({\ bar {\ theta}} ) \ right) \ left (\ operatorname {MSE} ({\ bar {\ theta}}) + \ theta ^ {2} \ right)} {\ left (\ theta ^ {2} + \ operatorname {MSE} ( {\ bar {\ theta}}) \ right) ^ {2}}} \\ & = {\ frac {\ theta ^ {2} \ operátor neve {MSE} ({\ bar {\ theta}})} { theta ^ {2} + \ operátornév {MSE} ({\ bar {\ theta}})}} \ end {igazítva}}}
Megjegyzés: annak az értéke, hogy természeténél fogva ismeretlen (különben nem keresnénk becslőt), ez a képlet csak akkor érdekes, ha az együttható egyszerűvé válik függetlenné konstanssá , vagyis ha és csak akkor, ha arányos a ( lásd az alábbi példát).
θ{\ displaystyle \ theta}θ2θ2+MSE(θ¯){\ displaystyle {\ tfrac {\ theta ^ {2}} {\ theta ^ {2} + \ operátor neve {MSE} ({\ bar {\ theta}})}}}θ{\ displaystyle \ theta}MSE(θ¯){\ displaystyle \ kezelőnév {MSE} ({\ bar {\ theta}})}θ2{\ displaystyle \ theta ^ {2}}
Hasznosság
Becslők összehasonlítása
Ha a két összehasonlítandó becslő elfogulatlan, akkor a hatékonyabb becslő egyszerűen a legkisebb varianciával rendelkezik. Hasonlóképpen, ha egy becslőnek nagyobb az elfogultsága (abszolút értékben) és nagyobb a szórása, mint egy másik becslőnek, akkor ez utóbbi nyilvánvalóan jobb.
Ha azonban egy becslőnek nagyobb az előfeszítése (abszolút értékben), de kisebb a szórása, akkor az összehasonlítás már nem azonnali: az átlagos négyzethiba lehetővé teszi a döntést.
Példa:
Hasonlítsuk össze a két leggyakoribb varianciabecslőt:
snem-12=def1nem-1∑én=1nem(yén-y¯)2{\ displaystyle s_ {n-1} ^ {2} \, {\ overset {\ text {def}} {=}} \, {\ frac {1} {n-1}} \ sum _ {i = 1 } ^ {n} \ balra (y_ {i} - {\ overline {y}} \ jobbra) ^ {2}} és
snem2=def1nem∑én=1nem(yén-y¯)2=nem-1nemsnem-12{\ displaystyle s_ {n} ^ {2} \, {\ overset {\ text {def}} {=}} \, {\ frac {1} {n}} \ sum _ {i = 1} ^ {n } \ bal (y_ {i} - {\ overline {y}} \ right) ^ {2} = {\ frac {n-1} {n}} s_ {n-1} ^ {2}}
A helyettesítéssel és valószínűségi törvénygel rendelkező döntetlen esetében, amelynek normalizált kurtosisát feltételezzük, hogy nulla ( pl. A normális törvény ), a számítások azt mutatják, hogy (lásd Greene, C.5.1. Szakasz):
E(snem-12)=σ2{\ displaystyle \ mathbb {E} (s_ {n-1} ^ {2}) = \ sigma ^ {2}}honnan ,
Elfogultság(snem-12)=0{\ displaystyle \ operátornév {Előítélet} (s_ {n-1} ^ {2}) = 0}
Var(snem-12)=2σ4nem-1{\ displaystyle \ kezelőnév {Var} (s_ {n-1} ^ {2}) = {\ frac {2 \ sigma ^ {4}} {n-1}}}honnan ;
MSE(snem-12)=2σ4nem-1{\ displaystyle \ kezelőnév {MSE} (s_ {n-1} ^ {2}) = {\ frac {2 \ sigma ^ {4}} {n-1}}}
E(snem2)=nem-1nemE(snem-12)=nem-1nemσ2{\ displaystyle \ mathbb {E} (s_ {n} ^ {2}) = {\ frac {n-1} {n}} \ mathbb {E} (s_ {n-1} ^ {2}) = { \ frac {n-1} {n}} \ sigma ^ {2}}honnan ,
Elfogultság(snem2)=-σ2nem{\ displaystyle \ kezelőnév {Előítélet} (s_ {n} ^ {2}) = - {\ frac {\ sigma ^ {2}} {n}}}
Var(snem2)=(nem-1nem)2Var(snem-12)=(nem-1nem)22σ4nem-1=2(nem-1)σ4nem2{\ displaystyle \ kezelőnév {Var} (s_ {n} ^ {2}) = \ balra ({\ frac {n-1} {n}} \ jobbra) ^ {2} \ operatorname {Var} (s_ {n -1} ^ {2}) = \ balra ({\ frac {n-1} {n}} \ jobbra) ^ {2} {\ frac {2 \ sigma ^ {4}} {n-1}} = {\ frac {2 (n-1) \ sigma ^ {4}} {n ^ {2}}}}honnan .
MSE(snem2)=(2nem-1)σ4nem2{\ displaystyle \ kezelőnév {MSE} (s_ {n} ^ {2}) = {\ frac {(2n-1) \ sigma ^ {4}} {n ^ {2}}}}
A becslő elfogulatlan, de nagyobb a szórása (alacsonyabb hatásfok), mint a becslő .
snem-12{\ displaystyle s_ {n-1} ^ {2}}snem2{\ displaystyle s_ {n} ^ {2}}
Az átlagos négyzetes hibák összehasonlítása a következőket adja:
MSE(snem2)-MSE(snem-12)=σ4(2nem-1nem2-2nem-1)=-(3nem-1)σ4nem2(nem-1)<0{\ displaystyle \ kezelőnév {MSE} (s_ {n} ^ {2}) - \ kezelőnév {MSE} (s_ {n-1} ^ {2}) = \ sigma ^ {4} \ bal ({\ frac { 2n-1} {n ^ {2}}} - {\ frac {2} {n-1}} \ jobbra = = {\ frac {(3n-1) \ sigma ^ {4}} {n ^ { 2} (n-1)}} <0}Az elfogult becslő ezért jobb az átlagos négyzethiba szempontjából.
snem2{\ displaystyle s_ {n} ^ {2}}
Mégis a helyettesítéssel és nulla kurtosissal húzott döntetlen esetén a fent megadott minimalizálási tétel alkalmazásával az elfogulatlan becslőre azt találjuk, hogy a becslő az a becslő, amely minimalizálja az átlagos négyzethibát, ez utóbbi érvényes .
snem-12{\ displaystyle s_ {n-1} ^ {2}}snem+12=nemnem+1snem2=nem-1nem+1snem-12{\ displaystyle s_ {n + 1} ^ {2} = {\ frac {n} {n + 1}} s_ {n} ^ {2} = {\ frac {n-1} {n + 1}} s_ {n-1} ^ {2}}2σ4nem+1{\ displaystyle {\ frac {2 \ sigma ^ {4}} {n + 1}}}
A becslő konvergenciája
Meg lehet állapítani, hogy egy becslő konvergens-e valószínűség szerint az átlagos négyzetes hibájából, valójában:
Tétel - [(limnem→∞E(θ^)=θetlimnem→∞Var(θ^)=0)⇔limnem→∞MSE(θ^)=0]⇒θ^→oθ{\ displaystyle \ left [\ left (\ lim _ {n \ to \ infty} \ mathbb {E} ({\ hat {\ theta}}) = \ theta \ quad \ mathbf {és} \ quad \ lim _ { n \ to \ infty} \ operatorname {Var} ({\ hat {\ theta}}) = 0 \ right) \ Leftightrow \ lim _ {n \ to \ infty} \ operatorname {MSE} ({\ hat {\ theta }}) = 0 \ right] \ Rightarrow {\ hat {\ theta}} {\ xrightarrow {p}} \ theta}
A demonstráció a véletlen változók oldalkonvergenciáján történik .
Általánosítás
Egy többparametrikus modell általánosabb keretrendszerében, ahol több paraméter becslésére vagy egy vagy több paraméter függvényének becslésére törekszenek , a becsléshez tartozó átlagos négyzethibát a következők határozzák meg:
f(θ){\ displaystyle f (\ theta)}δ{\ displaystyle \ delta}f(θ){\ displaystyle f (\ theta)}
Definíció - E[t(δ-f(θ))NÁL NÉL(δ-f(θ))]{\ displaystyle \ mathbb {E} \ balra [^ {t} (\ delta -f (\ theta)) A (\ delta -f (\ theta)) \ jobbra}}
ahol A jelentése egy pozitív definit szimmetrikus mátrix (amelynek határozza meg ennélfogva a dot termék ).
Megjegyzések és hivatkozások
Megjegyzések
-
Általánosabban mindig mintavételi csere , van: .Var(snem-12)=(γ2nem+2nem-1)σ4{\ displaystyle \ kezelőnév {Var} (s_ {n-1} ^ {2}) = \ bal ({\ frac {\ gamma _ {2}} {n}} + {\ frac {2} {n-1 }} \ jobbra) \ sigma ^ {4}}
Hivatkozások
Lásd is
Bibliográfia
en) William H Greene , Econometrics , Párizs, Pearson Education,2005, 5 -én ed. , 943 p. ( ISBN 978-2-7440-7097-6 ) , p. 2
Kapcsolódó cikkek
<img src="https://fr.wikipedia.org/wiki/Special:CentralAutoLogin/start?type=1x1" alt="" title="" width="1" height="1" style="border: none; position: absolute;">