Többdimenziós normális törvény

Többdimenziós normális eloszlás



Beállítások	${\ displaystyle \ mu = [\ mu _ {1}, \ pontok, \ mu _ {N}] ^ {\ top}}$ átlagos ( valós vektor ) variancia-kovariancia mátrix ( határozott pozitív valós mátrix ) $\ Sigma$ $N \ -szer N$
Támogatás	${\ displaystyle x \ in \ mathbb {R} ^ {N}}$
Valószínűségi sűrűség	${\ displaystyle {\ frac {1} {(2 \ pi) ^ {N / 2} \ bal \| \ Sigma \ jobb \| ^ {1/2}}} \; \; e ^ {- {\ frac {1 } {2}} (x- \ mu) ^ {\ top} \ Sigma ^ {- 1} (x- \ mu)}}$
Remény	$\ mu$
Középső	$\ mu$
Divat	$\ mu$
Variancia	$\ Sigma$
Aszimmetria	0
Entrópia	${\ displaystyle \ ln \ bal ({\ sqrt {(2 \, \ pi \, e) ^ {N} \ bal \| \ Sigma \ jobb \| \|}} \ jobb) \!}$
Pillanatgeneráló funkció	${\ displaystyle M_ {X} (t) = \ exp \ left (\ mu ^ {\ top} t + {\ frac {1} {2}} t ^ {\ top} \ Sigma t \ right)}$
Jellemző funkció	${\ displaystyle \ phi _ {X} (t; \ mu, \ Sigma) = \ exp \ bal (i \ mu ^ {\ top} t - {\ frac {1} {2}} t ^ {\ top} \ Sigma t \ jobbra}}$

Többdimenziós normális törvénynek , vagy többváltozós normálisnak vagy multinormálisnak, vagy Gauss-törvénynek nevezzük több változóval , valószínűségi törvénynek, amely a normális törvény többdimenziós általánosítása .

Míg a klasszikus normális törvényt az átlagának megfelelő $μ$ skalár és a varianciájának megfelelő $σ 2$ skalár paraméterezi, addig a multinormális törvényt egy középpontját képviselő vektor és egy pozitív félhatározott mátrix, amely a varianciamátrixa. -kovariancia . Jellemző függvényével definiáljuk , egy vektor esetében , ${\ boldsymbol {\ mu}} \ in \ mathbb {R} ^ {N}$ ${\ boldsymbol {\ Sigma}} \ itt: {\ mathcal {M}} _ {N} (\ mathbb {R})$ ${\ displaystyle {\ boldsymbol {x}} \ in \ mathbb {R} ^ {N}}$

{\ displaystyle \ phi _ {{\ boldsymbol {\ mu}}, {\ boldsymbol {\ Sigma}}} ({\ boldsymbol {x}}) = \ exp \ left (i {\ boldsymbol {x}} ^ { \ top} {\ boldsymbol {\ mu}} - {\ frac {1} {2}} {\ boldsymbol {x}} ^ {\ top} {\ boldsymbol {\ Sigma}} {\ boldsymbol {x}} \ jobb)}

A nem-degenerált esetben, ha $Σ$ van pozitív definit , tehát invertálható , a többdimenziós normális törvény elismeri a következő valószínűségi sűrűség :

megjegyzés $| X |$ az $X$ meghatározója ,

{\ displaystyle f _ {{\ boldsymbol {\ mu}}, {\ boldsymbol {\ Sigma}}} \ bal ({\ boldsymbol {x}} \ right) = {\ frac {1} {(2 \ pi) ^ {N / 2} \ balra | {\ félkövér szimbólum {\ Sigma}} \ jobbra | ^ {1/2}}} \; \ exp \ balra [- {\ frac {1} {2}} \ balra ({ \ boldsymbol {x}} - {\ boldsymbol {\ mu}} \ right) ^ {\ top} {\ boldsymbol {\ Sigma}} ^ {- 1} \ left ({\ boldsymbol {x}} - {\ boldsymbol {\ mu}} \ right) \ right]}

Ezt a törvényt általában az egydimenziós normális törvény analógiájával jegyzik meg. ${\ displaystyle {\ mathcal {N}} ({\ boldsymbol {\ mu}}, \, {\ boldsymbol {\ Sigma}})}$

Nem degenerált törvény

Ez a szakasz a többdimenziós normális eloszlás felépítésére összpontosít nem degenerált esetben, amikor a variancia-kovariancia mátrix $defin$ pozitív határozott.

Emlékeztető az egydimenziós normális törvényről

A centrális határeloszlástétel kiderül, egy csökkentett központú Gauss variábilis $U$ (nulla várható, egység variancia):

{\ displaystyle \ mathbb {E} [U] = 0 \ qquad \ mathbb {E} [U ^ {2}] = 1}

{\ displaystyle p_ {U} (u) = {\ frac {1} {\ sqrt {2 \ pi}}} \; \; \ mathrm {e} ^ {- {\ frac {1} {2}} u ^ {2}} \,}

Az általános Gauss-változóhoz a változó megváltoztatásával megyünk

{\ displaystyle X = \ sigma U + \ mu \,}

ami oda vezet

{\ displaystyle \ mathbb {E} [X] = \ mu \ qquad \ mathbb {E} [(X- \ mu) ^ {2}] = \ sigma ^ {2}}

{\ displaystyle p_ {X} (x) = {\ frac {1} {\ sigma {\ sqrt {2 \ pi}}}} \; \; \ mathrm {e} ^ {- {(x- \ mu) ^ {2}} \ felett {2 \ sigma ^ {2}}}}

Ennek a törvénynek a sűrűségét egy második fokú kitevőt tartalmazó exponenciális jellemzi.

Egységtörvény több változóval

Mivel N független valószínűségi változók azonos csökkentett központú Gauss törvény, az együttes sűrűségfüggvény van írva:

{\ displaystyle p_ {U_ {1} ... U_ {N}} (u_ {1}, ..., u_ {N}) = {\ frac {1} {{(2 \ pi)} ^ {N / 2}}} \; \; \ mathrm {e} ^ {- {1 \ over 2} \ sum _ {j = 1} ^ {N} u_ {j} ^ {2}}}

A törvény az, amely a law² törvény alapját képezi .

Mátrix formulákban szintetizálható. Először definiáljuk az $U$ véletlenvektort, amelynek az N változója komponens, és az $u$ állapotvektort, amelynek digitális értékei vannak összetevőként.

Az állapotvektorhoz társíthatjuk azt az átlagvektort, amely az alkotórészekre az alkotórészek átlagát jelenti, vagyis ebben az esetben a nulla vektort:

{\ displaystyle \ mathbb {E} [{\ boldsymbol {U}}] = {\ boldsymbol {0}} \,}

A kovarianciamátrix átlós elemei (a varianciák) egyenlőek 1-vel, míg a nem átlós elemek (a szoros értelemben vett kovariancia) nulla: ez az egységmátrix. Az átültetés segítségével írható:

{\ displaystyle \ mathbb {E} [{\ boldsymbol {U}} {\ boldsymbol {U}} ^ {\ top}] = {\ boldsymbol {I}} \,}

Végül a valószínűségi sűrűséget írjuk:

{\ displaystyle p _ {\ boldsymbol {U}} ({\ boldsymbol {u}}) = {\ frac {1} {{{(2 \ pi)} ^ {N / 2}}} \; \; \ mathrm {e} ^ {- {1 \ felett 2} {\ boldsymbol {u}} ^ {\ top} {\ boldsymbol {u}}}}

Általános törvény több változóval

Az affin változó változásából származik

{\ displaystyle {\ boldsymbol {X}} = {\ boldsymbol {a}} {\ boldsymbol {U}} + {\ boldsymbol {\ mu}}}

A probléma esetére korlátozódik egy mátrix $is$ tér (azonos számú kimeneti változók) és rendszeres. Mivel a vektor-elvárás operátor lineáris, megkapjuk az átlagvektort

{\ displaystyle \ mathbb {E} [{\ boldsymbol {X}}] = {\ boldsymbol {a}} \ mathbb {E} [{\ boldsymbol {U}}] + {\ boldsymbol {\ mu}} = { \ boldsymbol {\ mu}} \,}

és a kovariancia mátrix

{\ displaystyle \ mathbb {E} [{\ boldsymbol {(X- \ mu)}} {\ boldsymbol {(X- \ mu)}} ^ {\ top}] = \ mathbb {E} [{\ boldsymbol { a}} {\ boldsymbol {U}} {\ boldsymbol {U}} ^ {\ top} {\ boldsymbol {a}} ^ {\ top}] = {\ boldsymbol {a}} {\ boldsymbol {a}} ^ {\ top} = {\ félkövér szimbólum {\ Sigma}} \,}

A valószínűségi sűrűséget megírják

{\ displaystyle p _ {\ boldsymbol {X}} ({\ boldsymbol {x}}) = {\ frac {1} {{{(2 \ pi)} ^ {N / 2} \ balra | {\ boldsymbol { \ Sigma}} \ right | ^ {1/2}}} \; \ mathrm {e} ^ {- {1 \ over 2} {\ boldsymbol {(x- \ mu)}}} ^ {\ top} { \ boldsymbol {\ Sigma}} ^ {- 1} {\ boldsymbol {(x- \ mu)}}}}

Vegyes megjegyzések

Az $X-re$ alkalmazott változók új lineáris változása valószínűségi sűrűséget eredményez, amelynek matematikai formája megegyezik:

{\ displaystyle {\ boldsymbol {Y}} = {\ boldsymbol {b}} {\ boldsymbol {X}} + {\ boldsymbol {\ nu}} = {\ boldsymbol {b}} {\ boldsymbol {a}} { \ boldsymbol {U}} + {\ boldsymbol {b}} {\ boldsymbol {\ mu}} + {\ boldsymbol {\ nu}}}

A mátrixszámításból kényelmesen kapott alapvető képletek skaláris kifejezésekké alakulnak:

{\ displaystyle X_ {k} = \ sum _ {j = 1} ^ {N} {a_ {kj} U_ {j}} \, (k = 1, N) \,}

{\ displaystyle p_ {X_ {1} ... X_ {N}} (x_ {1}, ... x_ {N}) = {\ frac {1} {{(2 \ pi)} ^ {N / 2} \ bal | {\ félkövér szimbólum {\ Sigma}} \ jobb | ^ {1/2}}} \; \; \ mathrm {e} ^ {- {1 \ 2} felett \ sum _ {j = 1} ^ {N} \ sum _ {k = 1} ^ {N} t_ {jk} (x_ {j} - \ mu _ {j}) (x_ {k} - \ mu _ {k})}}

a $t jk$ a kovarianciamátrix inverzének együtthatói.

A fenti képlet kitevője minden változóhoz képest kvadratikus. Bizonyosodott arról, hogy az egyik integrációja hasonló eredményt ad. Az ( N -1) egymást követő integrációk egy marginális valószínűséggel rendelkező marginális valószínűségi törvényhez vezetnek: minden változó Gauss-féle, ami a priori nem volt nyilvánvaló .

Az előző megjegyzések kombinálásával eljutunk arra az eredményre, amely szerint a Gauss-vektor komponenseinek bármely lineáris kombinációja Gauss-változó.

Ebben az együttes valószínűségi törvényben a dekorrelált változók bármely párjának átlós kovarianciamátrix felel meg, amely biztosítja függetlenségüket. Valóban, a házaspár maga is Gauss-féle, és ízületi sűrűsége két alkotórész sűrűségének szorzata.
Az exponenciális kifejezés a Mahalanobis-távolság négyzete . ${\ displaystyle \ left ({\ boldsymbol {x}} - {\ boldsymbol {\ mu}} \ right) ^ {\ top} {\ boldsymbol {\ Sigma}} ^ {- 1} \ left ({\ boldsymbol { x}} - {\ boldsymbol {\ mu}} \ jobbra)}$

Feltételes eloszlások

Ha , és fel vannak osztva az alábbiak szerint $x$ $\ mu$ $\ Sigma$

{\ displaystyle \ mu = {\ elején {bmatrix} \ mu _ {1} \\\ mu _ {2} \ vége {bmatrix}} \ quad}

a méretei , ahol

{\ displaystyle {\ begin {bmatrix} q \ szor 1 \\ p \ szor 1 \ end {bmatrix}}}

{\ displaystyle N = p + q}

{\ displaystyle \ Sigma = {\ begin {bmatrix} \ Sigma _ {11} & \ Sigma _ {12} \\\ Sigma _ {21} & \ Sigma _ {22} \ end {bmatrix}} \ quad}

méretekkel

{\ displaystyle {\ begin {bmatrix} q \ times q & q \ times p \\ p \ times q & p \ times p \ end {bmatrix}}}

és

${\ displaystyle X = {\ begin {bmatrix} X_ {1} \\ X_ {2} \ end {bmatrix}} \ sim {\ mathcal {N}} _ {N} \ left (\ mu, \ Sigma \ right )}$

akkor a feltételesen eloszlása egy sokdimenziós normális eloszlás ahol $X_ {1}$ ${\ displaystyle X_ {2} = a}$ ${\ displaystyle (X_ {1} | X_ {2} = a) \ sim {\ mathcal {N}} _ {q} (\ mu _ {1 | a}, \ Sigma _ {11.2})}$

{\ displaystyle \ mu _ {1 | a} = \ mu _ {1} + \ Sigma _ {12} \ Sigma _ {22} ^ {- 1} \ bal (a- \ mu _ {2} \ jobb) }

és meg van írva a variancia-kovariancia mátrix

{\ displaystyle \ Sigma _ {11.2} = \ Sigma _ {11} - \ Sigma _ {12} \ Sigma _ {22} ^ {- 1} \ Sigma _ {21}.}

Ez a mátrix Schur komplementere az in-ben . ${\ displaystyle {\ mathbf {\ Sigma} _ {22}}}$ ${\ displaystyle {\ mathbf {\ Sigma}}}$

Megjegyezzük, hogy ha tudjuk, hogy az a $egyenlő, akkor$ változik a szórása, és ugyanolyan meglepő módon az átlag is módosul. Ezt össze kell hasonlítani azzal a helyzettel, amelyben nem ismerünk $a-t$ , ebben az esetben van terjesztés . Ez annak a feltételnek az eredménye, amely nem triviális! $X_ {2}$ $X_ {1}$ $X_ {1}$ ${\ displaystyle {\ mathcal {N}} _ {q} \ balra (\ mu _ {1}, \ Sigma _ {11} \ jobbra)}$ ${\ displaystyle X \ sim {\ mathcal {N}} _ {N} \ balra (\ mu, \ Sigma \ jobbra)}$

A mátrixot regressziós együttható mátrixnak nevezzük . ${\ displaystyle \ Sigma _ {12} \ Sigma _ {22} ^ {- 1}}$

Tulajdonságok

A nem szinguláris többdimenziós normális eloszlás izo- kontúrjai ellipszoidok, amelyek középértéke az $μ$ . Ezen ellipszoidok főtengelyeinek irányai a $Σ$ sajátvektorai . Ezen tengelyek relatív hosszúságának négyzetét az ezekhez a sajátvektorokhoz tartozó sajátértékek adják meg .

A többdimenziós normális eloszlás differenciális entrópiáját a

{\ displaystyle H \ bal (f \ jobb) = - \ int _ {\ mathbb {R} ^ {N}} f (x) \ ln f (x) \, \ mathrm {d} x}

{\ displaystyle = {\ frac {1} {2}} \ bal (N + N \ ln \ bal (2 \ pi \ jobb) + \ ln \ bal | \ Sigma \ jobb | \ jobb) \!}

{\ displaystyle = {\ frac {1} {2}} \ ln \ {(2 \ pi \ mathrm {e}) ^ {N} \ balra | \ Sigma \ jobbra | \}}

A Kullback-Leibler divergencia sajátos formát ölt két többdimenziós normális törvény és ${\ displaystyle {\ mathcal {N}} _ {0} (\ mu _ {0}, \ Sigma _ {0})}$ ${\ displaystyle {\ mathcal {N}} _ {1} (\ mu _ {1}, \ Sigma _ {1})}$

{\ displaystyle D _ {\ text {KL}} (N_ {0} \ | N_ {1}) = {1 \ több mint 2} \ bal (\ ln \ bal ({\ frac {\ bal | \ Sigma _ { 1} \ jobb |} {\ bal | \ Sigma _ {0} \ jobb |}} \ jobb) + \ mathrm {tr} \ bal (\ Sigma _ {1} ^ {- 1} \ Sigma _ {0} \ jobbra + + balra (\ mu _ {1} - \ mu _ {0} \ jobbra) ^ {\ top} \ Sigma _ {1} ^ {- 1} (\ mu _ {1} - \ mu _ {0}) - N \ jobb).}

Az 1. dimenzióban a normál törvény kumulatív függvényének $Φ$ (vagy eloszlási függvényének) fogalma általánosítható a többdimenziós normális törvényre. Ehhez a fő elv a Mahalanobis-távolság : a kumulatív függvény annak a valószínűsége, hogy a normál véletlen változó beleesik az ellipszisbe, amelyet a Mahalanobis $r-$ től a Gauss- ig terjedő távolsága határoz meg . Analitikai képletek léteznek a kumulatív függvény értékeinek kiszámításához. ${\ displaystyle \ Phi _ {n} (r)}$

Szimuláció

Egy olyan multinormális törvény szimulációjához, amelynek paraméterei ismertek vagy becsültek, azaz és arra törekszünk, hogy mesterséges mintát állítsunk elő a . ${\ displaystyle {\ boldsymbol {X}} \ sim {\ mathcal {N}} (\ mu, \, \ Sigma)}$ ${\ displaystyle m \ sim \ mu}$ ${\ displaystyle C \ sim \ Sigma}$ ${\ boldsymbol {X}}$

Ha $C$ nem átlós , akkor nem lehet egymás után előállítani az $X$ $i$ n változót , mert ez a módszer nem tartaná tiszteletben a kovarianciákat.

Inkább a megközelítés abból áll, hogy az $X$ vektort a forma független skaláris változóinak lineáris kombinációjaként fejezzük ki ${\ displaystyle Y_ {i} \ sim {\ mathcal {N}} (0,1)}$

{\ displaystyle {\ boldsymbol {X}} = m + B {\ boldsymbol {Y}}}

ahol $B$ a kényszert kielégítő négyzetmátrix

{\ displaystyle C = BB ^ {T}.}

A kovariancia egyik tulajdonsága valóban azt mutatja, hogy ez a kényszer biztosítja az $X$ kovariancia tiszteletben tartását .

A $B$ meghatározása után egyszerűen készítsen $Y i$ szimulációkat az $X$ vektor (a fenti összefüggés felhasználásával) független verzióihoz .

A $B$ választásának számos lehetősége van :

Ha a multinormális törvény nem degenerált, akkor a $C$ Cholesky-faktorizációja (majd megfordítása) meghatározza a $B$ alsó háromszög alakú mátrixot , amely pontosan kielégíti az előző kényszert.
Általános esetben a $C$ pozitív félhatározott, és az átlósítás módja lehetővé teszi a jellemzést

{\ displaystyle C = ODO ^ {T}}

ahol

O

egy ortogonális mátrix, amelynek oszlopai a

C

sajátvektorai , és

D

egy olyan átlós mátrix, amely a

C

sajátértékeiből áll , mindegyik pozitív vagy nulla. Csak választania kell

{\ displaystyle B = OD ^ {1/2}}

Megjegyzések:

Bár ezek a megközelítések egyenértékű elméletileg a második számszerűen előnyösebb, mert mutat jobb stabilitást , ha a feltétel a kovarianciamátrix „rossz”.
Leggyakrabban egy ál-véletlenszerű számgenerátor hurkolja egy korlátozott sorozat értékeit (ugyanazokat az eredményeket találjuk a sorozat végének elérése után is). Legyen óvatos ezzel a szempontdal, amikor egy nagy méretű n multinormális vektor nagyszámú szimulációjának előállításáról van szó : a sorozat kimerülése után a függetlenség már nem garantált.

Alkalmazások

A többdimenziós normális törvényt különösen az orvosi képek feldolgozásánál alkalmazzák. Így például gyakran használják a diffúziós tenzor képalkotásában . Ez a kép valóban modellezi a víz diffúziójának fő irányainak eloszlását egy többdimenziós normális törvény nulla átlaggal. Így a kép minden pontján lévő tenzor nem más, mint a többdimenziós normális törvény kovarianciamátrixa.

A többváltozós normális eloszlás második alkalmazása a páciens agyának MRI intenzitása alapján a különböző szöveti osztályok ( szürkeállomány , fehérállomány , cerebrospinalis folyadék ) meghatározása. Ez a technika egy elvárás-maximalizálás algoritmus használatán alapul , amelyben az egyes osztályokat egy többdimenziós normális törvény modellezi, amelynek dimenziója megegyezik az osztályozáshoz használt modalitások számával.

Megjegyzések és hivatkozások

(in) DV Gokhale, NA Ahmed, BC Res, NJ Piscataway, " Kifejezések és többváltozós eloszlásaik entrópiájának becslései " , IEEE tranzakciók az információelméletről , vol. 35, n o 3,1989. május, P. 688–692
lásd például (a) Michael Bensimhoun , „ n-dimenziós Összesített funkció, és egyéb hasznos Tények Gauss és normál sűrűség ” [PDF] ,2006

Kapcsolódó cikkek

Normális törvény
Többváltozós valószínűségi törvény
Várakozás-maximalizáló algoritmus : tartalmazza a szöveti osztályozáshoz való alkalmazás részleteit