Kölcsönös tájékoztatás
A valószínűségszámítás és információelmélet , a kölcsönös tájékoztatás , két véletlen változó olyan mennyiség mérésére statisztikai függőség ezeket a változókat. Gyakran bitben mérik .
Pár változó kölcsönös tájékoztatása a valószínűségi értelemben vett függőségük mértékét képviseli. A logikai függőség ezen fogalmát nem szabad összekeverni a fizikai ok-okozati összefüggésekkel, bár a gyakorlatban az egyik gyakran a másikat jelenti.
(x,Y){\ displaystyle (X, Y)}
Informálisan azt mondjuk, hogy két változó független, ha az egyik megvalósítása nem nyújt információt a másik megvalósításáról. A korrelációs együttható a függőség speciális esete, amelyben a két változó kapcsolata szigorúan lineáris .
A kölcsönös információ akkor és csak akkor nulla, ha a változók függetlenek, és a függőség növekedésével nőnek.
Meghatározás
Legyen pár véletlen változó az együttes valószínűségi sűrűségből (ebben a cikkben a jelölésekkel való visszaélést használjuk az esemény valószínűségének képviseletére ). Vegye figyelembe a határeloszlásokat és . Ekkor a kölcsönös információ diszkrét esetben történik:
(x,Y){\ displaystyle (X, Y)}P(x,y){\ displaystyle P (x, y)}P(x){\ displaystyle P (x)}x=x{\ displaystyle X = x}P(x){\ displaystyle P (x)}P(y){\ displaystyle P (y)}
én(x;Y)=∑x,yP(x,y)naplóP(x,y)P(x)P(y),{\ displaystyle I (X; Y) = \ sum _ {x, y} P (x, y) \ log {\ frac {P (x, y)} {P (x) \, P (y)}} , \!}és folyamatos esetben:
én(x;Y)=∫R∫Ro(x,y)naplóo(x,y)o(x)o(y)dxdy.{\ displaystyle I (X; Y) = \ int _ {\ mathbb {R}} \ int _ {\ mathbb {R}} p (x, y) \ log {\ frac {p (x, y)} { p (x) \, p (y)}};; dxdy. \!}ahol , és rendre a sűrűsége jogszabályok , és .
o(x,y){\ displaystyle p (x, y)}o(x){\ displaystyle p (x)}o(y){\ displaystyle p (y)}(x,Y){\ displaystyle (X, Y)}x{\ displaystyle X}Y{\ displaystyle Y}
Gauss-eset
A kölcsönös információkat Gauss-eloszlás esetén a következő formában írják:
én(x;Y)=12napló|Kx||KY||KxY|{\ displaystyle I (X; Y) = {\ dfrac {1} {2}} \ log {\ dfrac {| K_ {X} || K_ {Y} |} {| K_ {XY} |}}}azzal a meghatározója a kovariancia mátrix X és Y , a meghatározója a kovariancia mátrix X és a meghatározója a kovariancia mátrix Y .
|KxY|{\ displaystyle | K_ {XY} |}|Kx|{\ displaystyle | K_ {X} |}|KY|{\ displaystyle | K_ {Y} |}
Tulajdonságok
-
én(x;Y)=0{\ displaystyle I (X; Y) = 0} csak akkor, ha X és Y független véletlen változó.
- A kölcsönös információ pozitív vagy nulla.
- A kölcsönös információ szimmetrikus.
-
Adatfeldolgozási tétel : ha és két mérhető függvény, akkor . Ez azt jelenti, hogy a nyers adatokon végzett semmilyen átalakítás nem tárhat fel információt.g1{\ displaystyle g_ {1}}g2{\ displaystyle g_ {2}}én(g1(x),g2(Y))≤én(x,Y){\ displaystyle I (g_ {1} (X), g_ {2} (Y)) \ leq I (X, Y)}
- Amikor az együttes eloszlás valószínűségi változók , és követi a többdimenziós normális eloszlás azt mutatja, hogy a kölcsönös információ közvetlenül kapcsolódik az együttható összefüggés a két változó között: x{\ displaystyle \ X} Y{\ displaystyle \ Y} NEM(μ,Σ){\ displaystyle {\ mathcal {N}} (\ mu, \, \ Sigma)} ρ{\ displaystyle \ \ rho}én(x;Y)=-12napló(1-ρ2){\ displaystyle I (X; Y) = - {\ frac {1} {2}} \ log (1- \ rho ^ {2})}
Javasolták ennek a mennyiségnek több általánosítását nagyobb számú változóra, de konszenzus még nem alakult ki.
Kapcsolatok az információelmélettel
Entrópia
A kölcsönös információ azt az információmennyiséget méri, amelyet átlagosan az X elérése az Y elérésének valószínűségével realizál . Figyelembe véve, hogy egy valószínűségi eloszlás egy véletlenszerű jelenségről alkotott tudásunkat reprezentálja, az információ hiányát ennek az eloszlásnak az entrópiájával mérjük . E fogalmakkal a kölcsönös információkat a következők fejezik ki:
én(x;Y)=H(x)-H(x|Y)=H(Y)-H(Y|x)=H(x)+H(Y)-H(x,Y).{\ displaystyle I (X; Y) = H (X) -H (X | Y) = H (Y) -H (Y | X) = H (X) + H (Y) -H (X, Y) .}ahol H ( X ) és H ( Y ) entrópia , H ( X | Y ) és H ( Y | X ) feltételes entrópia , és H ( Y , X ) az X és Y közötti közös entrópia .
Így látható, hogy a nyomaték egy kiviteli alakjának kódolásához szükséges bitek száma megegyezik az X egyik kiviteli alakjának kódolásához szükséges bitek és az Y egyik kiviteli alakjának kódolásához szükséges bitek számának összegével .
én(x;Y)=0{\ displaystyle I (X; Y) = 0}
Kullback-Leibler divergencia
A kölcsönös információkat a Kullback-Leibler-divergencia is kifejezheti . Nekünk van
én(x;Y)=KL(P(x,Y),P(x)P(Y))=∑P(x,Y)naplóP(x,Y)P(x)P(Y).{\ displaystyle I (X; Y) = {\ mathit {KL}} (P (X, Y), P (X) P (Y)) = \ összeg P (X, Y) \ log {\ frac {P (X, Y)} {P (X) P (Y)}}.}Így egyfajta "távolságot" mér az eloszlások és a között . Mivel definíció szerint két változó független, ha ez a két eloszlás egyenlő, és mint iff , megtaláljuk az ekvivalenciát és a függetlenséget.
én(x;Y){\ displaystyle I (X; Y)}P(x,Y){\ displaystyle P (X, Y)}P(x)∗P(Y){\ displaystyle P (X) * P (Y)}KL(o,q)=0{\ displaystyle {\ mathit {KL}} (p, q) = 0}o=q{\ displaystyle p = q}én(x,Y)=0{\ displaystyle I (X, Y) = 0}
Intuitív módon több információt hordoz, ha a változók függenek, mint amikor nem. Ha a két változó N esetből diszkrét , akkor a legrosszabb esetben együtthatókra van szükségünk, ha csak akkor, ha .
P(x,Y){\ displaystyle P (X, Y)}NEM2-1{\ displaystyle N ^ {2} -1}P(x,Y){\ displaystyle P (X, Y)}2NEM-1{\ displaystyle 2N-1}P(x,Y)=P(x)P(Y){\ displaystyle P (X, Y) = P (X) P (Y)}
A divergencia megadja az információ bitjeinek számát, amelyet a tudás hoz, amikor az ember már tudja és .
KL{\ displaystyle {\ mathit {KL}}}P(x,Y){\ displaystyle P (X, Y)}P(x){\ displaystyle P (X)}P(Y){\ displaystyle P (Y)}
Megjegyzések és hivatkozások
-
(in) S. Kullback, információ elmélet és statisztika , John Wiley & Sons, NY,
1959
<img src="https://fr.wikipedia.org/wiki/Special:CentralAutoLogin/start?type=1x1" alt="" title="" width="1" height="1" style="border: none; position: absolute;">