Folyamatos idejű Markov-folyamat
A valószínűségelméletben a folytonos idejű Markov-folyamat vagy a folytonos idejű Markov-lánc a Markov-folyamat folyamatos idejű változata . Pontosabban, ez egy matematikai modell, amelynek értéke megszámlálható halmazban van, azok az állapotok, amelyekben az egyes állapotokban eltöltött idő pozitív valós véletlen változó , exponenciális törvényt követve .
Ezt az objektumot bizonyos rendszerek, például sorok evolúciójának modellezésére használják .
Végtelen kis generátor és definíciók
Folyamatos idejű Markov-láncot ( X t ) t ≥0 jellemez
- egy véges vagy megszámlálható halmaza S állapotok;
- kezdeti eloszlás az összes állam között;
- egy Q átmeneti sebesség mátrix , amelyet infinitezimális generátornak is nevezünk (dimenziója | S | ² ).
Az i ≠ j esetében a Q mátrix q ij elemei pozitív realok, amelyek számszerűsítik az i állapotból a j állapotba való átmenet sebességét . A q ii elemeket úgy választjuk meg, hogy az egyes sorok oszlopai nulla, azaz
qénén=-∑j≠énqénj{\ displaystyle q_ {ii} = - \ sum _ {j \ neq i} q_ {ij}}![{\ displaystyle q_ {ii} = - \ sum _ {j \ neq i} q_ {ij}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/8a1ab787a6d9052afd9b5b224e91ba59f23f0828)
A folyamat ( X t ) t ≥0 meghatározásának több egyenértékű módja van .
Végtelen kis definíció
Legyen X t a véletlen változó, amely leírja a folyamat állapotát t időpontban . Minden pozitív t és h esetén , feltételesen { X t = i } esetén, X t + h független ( X s : s ≤ t ) értéktől, és ha h értéke 0, minden j
Pr(x(t+h)=j∣x(t)=én)=δénj+qénjh+o(h),{\ displaystyle \ Pr (X (t + h) = j \ X közepe (t) = i) = \ delta _ {ij} + q_ {ij} h + o (h),}![{\ displaystyle \ Pr (X (t + h) = j \ X közepe (t) = i) = \ delta _ {ij} + q_ {ij} h + o (h),}](https://wikimedia.org/api/rest_v1/media/math/render/svg/1e5170649f2f530ea1da7a32561ec464660deb7b)
ahol δ ij a Kronecker-delta jelölését jelenti .
Ugrásokkal történő meghatározás
Legyen Y n a folyamat állapota az n-edik ugrása után , S n pedig az Y n állapotban töltött idő . Ekkor ( Y n ) n ≥0 egy diszkrét idejű Markov-lánc, és az ( Y 0 , ..., Y n ) feltételektől függően a várakozási idő ( S 0 , ..., S n ) független exponenciális változó a megfelelő paramétereket .
(-qY0Y0,...,-qYnemYnem){\ displaystyle (-q_ {Y_ {0} Y_ {0}}, \ ldots, -q_ {Y_ {n} Y_ {n}})}![{\ displaystyle (-q_ {Y_ {0} Y_ {0}}, \ ldots, -q_ {Y_ {n} Y_ {n}})}](https://wikimedia.org/api/rest_v1/media/math/render/svg/cb8d86a76bb94c570120ef35f179a80da7091b84)
Meghatározás az átmenetek valószínűsége alapján
Valamennyi t 0 , t 1 , ... és minden megfelelő i 0 , i 1 , ... állapotra megvan
Pr(xtnem+1=énnem+1|xt0=én0,xt1=én1,...,xtnem=énnem)=oénneménnem+1(tnem+1-tnem),{\ displaystyle \ Pr (X_ {t_ {n + 1}} = i_ {n + 1} | X_ {t_ {0}} = i_ {0}, X_ {t_ {1}} = i_ {1}, \ ldots, X_ {t_ {n}} = i_ {n}) = p_ {i_ {n} i_ {n + 1}} (t_ {n + 1} -t_ {n}),}![{\ displaystyle \ Pr (X_ {t_ {n + 1}} = i_ {n + 1} | X_ {t_ {0}} = i_ {0}, X_ {t_ {1}} = i_ {1}, \ ldots, X_ {t_ {n}} = i_ {n}) = p_ {i_ {n} i_ {n + 1}} (t_ {n + 1} -t_ {n}),}](https://wikimedia.org/api/rest_v1/media/math/render/svg/8b290d1ac94ceb90f7873011371dc36d2dcf003b)
ahol p ij a Kolmogorov (en) egyenlet megoldása :
P′(t)=P(t)Q,{\ displaystyle P '(t) = P (t) Q,}![{\ displaystyle P '(t) = P (t) Q,}](https://wikimedia.org/api/rest_v1/media/math/render/svg/8747ef596a74270ddb8ee7b57ee80c8f342d8696)
a P (0) = I kezdeti feltétellel az identitásmátrix . Ennek az egyenletnek a megoldása akkor vezet
P(t)=etQ.{\ displaystyle P (t) = e ^ {tQ}.}![{\ displaystyle P (t) = e ^ {tQ}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c50eb455db651d95b3002472ad8a66e776cedd8f)
Tulajdonságok
Irreducibilitás
Egy állami j azt mondják, hogy elérhető a másik állam i (írásbeli i → j ), ha ez lehetséges j a i . Vagyis, ha:
∃t≥0, Prén(x(t)=j)>0.{\ displaystyle \ létezik {t} \ geq 0 {\ text {,}} \ operátornév {Pr} _ {i} (X (t) = j)> 0.}![\ létezik {t} \ geq 0 {\ text {,}} \ operátornév {Pr} _ {i} (X (t) = j)> 0.](https://wikimedia.org/api/rest_v1/media/math/render/svg/9e87fda9e32396bb242a9b6e803f8820db669879)
Egy i állapotról azt mondjuk , hogy kommunikál egy j állapotgal (írva i ↔ j ), ha i → j és j → i . A halmaza C egy kommunikáló osztályt , ha minden pár kimutatások C kommunikálni egymással, és ha nincs állami C kommunikál, nem jelenlegi állapotukban C . Mivel a kommunikáció egy ekvivalencia reláció , az állapottér S lehet megosztjuk egy sor kommunikáló osztályok. A folytonos idejű Markov-folyamat nem olvasható, ha az egész S tér egyetlen kommunikáló osztály.
Mindennek és ugyanabban a kommunikációs C osztályban megmutathatjuk (a szubadditivitás tulajdonságainak felhasználásával ), hogy a határ
én{\ displaystyle i}
j{\ displaystyle j}![j](https://wikimedia.org/api/rest_v1/media/math/render/svg/2f461e54f5c093e92a55547b9764291390f0b5d0)
limt→+∞naplóoén,j(t)t{\ displaystyle \ lim _ {t \ to + \ infty} {\ frac {\ log p_ {i, j} (t)} {t}}}![{\ displaystyle \ lim _ {t \ to + \ infty} {\ frac {\ log p_ {i, j} (t)} {t}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/774ec5bc32472fd460f2197289013be1d5236217)
létezik és nem függ vagy nem ; megjegyezzük .
én{\ displaystyle i}
j{\ displaystyle j}
λ(VS){\ displaystyle \ lambda (C)}![{\ displaystyle \ lambda (C)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/321ee2f952eb354e2d863047aea1dbfcafb3ed8a)
Demonstráció
Megvan . Pózoljunk . Tehát és . Ez az aladditivitás azt jelenti, hogy a határ
oén,én(s+t)≥oén,én(s)oén,én(t){\ displaystyle p_ {i, i} (s + t) \ geq p_ {i, i} (s) p_ {i, i} (t)}
ϕén(t)=-naplóoén,én(t){\ displaystyle \ phi _ {i} (t) = - \ log p_ {i, i} (t)}
ϕén(t)≥0{\ displaystyle \ phi _ {i} (t) \ geq 0}
ϕén(s+t)≤ϕén(s)+ϕén(t){\ displaystyle \ phi _ {i} (s + t) \ leq \ phi _ {i} (s) + \ phi _ {i} (t)}![{\ displaystyle \ phi _ {i} (s + t) \ leq \ phi _ {i} (s) + \ phi _ {i} (t)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d0af8f42ccafd24e86d9991988c26fe9be24f0e8)
λén=limt→+∞ϕén(t)t=inft≥0ϕén(t)t{\ displaystyle \ lambda _ {i} = \ lim _ {t \ to + \ infty} {\ frac {\ phi _ {i} (t)} {t}} = \ inf _ {t \ geq 0} { \ frac {\ phi _ {i} (t)} {t}}}![{\ displaystyle \ lambda _ {i} = \ lim _ {t \ to + \ infty} {\ frac {\ phi _ {i} (t)} {t}} = \ inf _ {t \ geq 0} { \ frac {\ phi _ {i} (t)} {t}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/fe5836022ea78da4f3e6a6fc515b797b07a9040a)
létezik . Tehát és . Másképp,
λén≥0{\ displaystyle \ lambda _ {i} \ geq 0}
ϕén(t)≥λént{\ displaystyle \ phi _ {i} (t) \ geq \ lambda _ {i} t}
oén,én(t)≤e-λént{\ displaystyle p_ {i, i} (t) \ leq e ^ {- \ lambda _ {i} t}}![{\ displaystyle p_ {i, i} (t) \ leq e ^ {- \ lambda _ {i} t}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a697065268a218f400c62f905d0145713cfbbba8)
oén,j(nál nél)oj,j(t)oj,én(b)≤oén,én(t+nál nél+b)≤e-λén(t+nál nél+b).{\ displaystyle p_ {i, j} (a) p_ {j, j} (t) p_ {j, i} (b) \ leq p_ {i, i} (t + a + b) \ leq e ^ { - \ lambda _ {i} (t + a + b)}.}![{\ displaystyle p_ {i, j} (a) p_ {j, j} (t) p_ {j, i} (b) \ leq p_ {i, i} (t + a + b) \ leq e ^ { - \ lambda _ {i} (t + a + b)}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3c0950effcb15831e412633e22dd53ddac6817f5)
Tehát és . A és a szerepkörök megfordításával azt találjuk . Végül,
oj,j(t)≤Ke-λént{\ displaystyle p_ {j, j} (t) \ leq Ke ^ {- \ lambda _ {i} t}}
λj≥λén{\ displaystyle \ lambda _ {j} \ geq \ lambda _ {i}}
én{\ displaystyle i}
j{\ displaystyle j}
λén=λj=λ{\ displaystyle \ lambda _ {i} = \ lambda _ {j} = \ lambda}![{\ displaystyle \ lambda _ {i} = \ lambda _ {j} = \ lambda}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a2d82629afd2653345fcc03f40e5d65b575e3e2e)
naplóoén,j(nál nél)t+naplóoj,j(t-nál nél)t≤naplóoén,j(t)t≤naplóoj,j(t+nál nél)t-naplóoj,én(nál nél)t.{\ displaystyle {\ frac {\ log p_ {i, j} (a)} {t}} + {\ frac {\ log p_ {j, j} (ta)} {t}} \ leq {\ frac { \ log p_ {i, j} (t)} {t}} \ leq {\ frac {\ log p_ {j, j} (t + a)} {t}} - {\ frac {\ log p_ {j , i} (a)} {t}}.}![{\ displaystyle {\ frac {\ log p_ {i, j} (a)} {t}} + {\ frac {\ log p_ {j, j} (ta)} {t}} \ leq {\ frac { \ log p_ {i, j} (t)} {t}} \ leq {\ frac {\ log p_ {j, j} (t + a)} {t}} - {\ frac {\ log p_ {j , i} (a)} {t}}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f17bbc6cc65b518f67ec61e34e6dec2daddd5c20)
A bal végtag felé hajlik . A jobbkezes tag is. Tehát a felé .
-λ{\ displaystyle - \ lambda}
(naplóoén,j(t))/t{\ displaystyle (\ log p_ {i, j} (t)) / t}
-λ{\ displaystyle - \ lambda}![- \ lambda](https://wikimedia.org/api/rest_v1/media/math/render/svg/0b7273c3daae98ce0f6c46098ad78933c621c835)
Például egy olyan láncban, ahol a 0 állapot elnyeli, ahol az {1,2, ...} állapotok kommunikáló osztályt alkotnak, és ahol a rendszert a 0 állapot szinte biztosan elnyeli, a határ megadja a d lánc abszorpciós sebességét, amelyet néha hogy mint Kingman paraméter .
Egy másik példa. Tekintsük a véletlen bolyongás az egész számok , amelyek a generátor által adott , , és egyéb nyomokat. A mátrix egy háromszög alakú Toeplitz-mátrix . Így
{...,-2,-1,0,1,2,...}{\ displaystyle \ {..., - 2, -1,0,1,2, ... \}}
Qén,én=-1{\ displaystyle Q_ {i, i} = - 1}
Qén,én+1=o{\ displaystyle Q_ {i, i + 1} = p}
(0<o<1){\ displaystyle (0 <p <1)}
Qén,én-1=q=1-o{\ displaystyle Q_ {i, i-1} = q = 1-p}
Qén,j=0{\ displaystyle Q_ {i, j} = 0}
Q{\ displaystyle Q}![Q](https://wikimedia.org/api/rest_v1/media/math/render/svg/8752c7023b4b3286800fe3238271bbca681219ed)
limt→+∞naplóoén,j(t)t=2oq-1.{\ displaystyle \ lim _ {t \ to + \ infty} {\ frac {\ log p_ {i, j} (t)} {t}} = 2 {\ sqrt {pq}} - 1.}![{\ displaystyle \ lim _ {t \ to + \ infty} {\ frac {\ log p_ {i, j} (t)} {t}} = 2 {\ sqrt {pq}} - 1.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/ec5360b623fd4e97a91c78e36d6db9c7134e9174)
Észrevesszük, hogy a határ szigorúan negatív, ha és nulla, ha .
o≠1/2{\ displaystyle p \ neq 1/2}
o=1/2{\ displaystyle p = 1/2}![{\ displaystyle p = 1/2}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c4a77b7a2e96414f0214f2d6ee49e462ccf33af0)
Demonstráció
A rendszer egy lépéssel jobbra valószínűséggel és egy lépéssel balra valószínűséggel után exponenciális eloszlású idő átlagosan 1 Egy idő után , nem lesz már ugrik valószínűséggel (ez egy Poisson-folyamat ). A rendszer végül jobbra ( ) lépett, ha jobbra és balra lépett (tehát összesen lépéseket). Ebből kifolyólag
o{\ displaystyle p}
q{\ displaystyle q}
t{\ displaystyle t}
j{\ displaystyle j}
e-ttj/j!{\ displaystyle e ^ {- t} t ^ {j} / j!}
k{\ displaystyle k}
k≥0{\ displaystyle k \ geq 0}
k+r{\ displaystyle k + r}
r{\ displaystyle r}
k+2r{\ displaystyle k + 2r}![{\ displaystyle k + 2r}](https://wikimedia.org/api/rest_v1/media/math/render/svg/fd3112046fe02bd370261e2ecef71703e17ff7fc)
oén,én+k(t)=∑r=0+∞e-ttk+2r(k+2r)!(k+2rr)qrok+r{\ displaystyle p_ {i, i + k} (t) = \ sum _ {r = 0} ^ {+ \ infty} e ^ {- t} {\ frac {t ^ {k + 2r}} {(k + 2r)!}} {K + 2r \ válassza r} q ^ {r} p ^ {k + r}}![{\ displaystyle p_ {i, i + k} (t) = \ sum _ {r = 0} ^ {+ \ infty} e ^ {- t} {\ frac {t ^ {k + 2r}} {(k + 2r)!}} {K + 2r \ válassza r} q ^ {r} p ^ {k + r}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/74f82630e89a332a97c789180fe6d1ad8da7fc0c)
igen . Ezt észrevesszük
k≥0{\ displaystyle k \ geq 0}![{\ displaystyle k \ geq 0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/79214ef55efadfb1d9c9b02252eb8a71cf6f8b6b)
oén,én+k(t)=e-t(o/q)k/2∑r=0+∞(oqt)k+2rr!(k+r)!=e-t(o/q)k/2énk(2toq),{\ displaystyle p_ {i, i + k} (t) = e ^ {- t} (p / q) ^ {k / 2} \ sum _ {r = 0} ^ {+ \ infty} {\ frac { ({\ sqrt {pq}} t) ^ {k + 2r}} {r! (k + r)!}} = e ^ {- t} (p / q) ^ {k / 2} I_ {k} (2t {\ sqrt {pq}}),}![{\ displaystyle p_ {i, i + k} (t) = e ^ {- t} (p / q) ^ {k / 2} \ sum _ {r = 0} ^ {+ \ infty} {\ frac { ({\ sqrt {pq}} t) ^ {k + 2r}} {r! (k + r)!}} = e ^ {- t} (p / q) ^ {k / 2} I_ {k} (2t {\ sqrt {pq}}),}](https://wikimedia.org/api/rest_v1/media/math/render/svg/6ced1ed3dd75960ceb2daf1145e7ccc7125fc10f)
hol van az első fajta módosított Bessel-függvény . Hasonlóképpen,
énk(⋅){\ displaystyle I_ {k} (\ cdot)}![{\ displaystyle I_ {k} (\ cdot)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f43c75cf2a508223f994d7c12b8845025fcba98c)
oén,én-k(t)=∑r=0+∞e-ttk+2r(k+2r)!(k+2rr)orqk+r=e-t(o/q)-k/2énk(2toq){\ displaystyle p_ {i, ik} (t) = \ sum _ {r = 0} ^ {+ \ infty} e ^ {- t} {\ frac {t ^ {k + 2r}} {(k + 2r )!}} {k + 2r \ válassza r} p ^ {r} q ^ {k + r} = e ^ {- t} (p / q) ^ {- k / 2} I_ {k} (2t { \ sqrt {pq}})}![{\ displaystyle p_ {i, ik} (t) = \ sum _ {r = 0} ^ {+ \ infty} e ^ {- t} {\ frac {t ^ {k + 2r}} {(k + 2r )!}} {k + 2r \ válassza r} p ^ {r} q ^ {k + r} = e ^ {- t} (p / q) ^ {- k / 2} I_ {k} (2t { \ sqrt {pq}})}](https://wikimedia.org/api/rest_v1/media/math/render/svg/da986fce2ee769ba783c6b1771d28326c7e342e9)
igen . Végül,
k<0{\ displaystyle k <0}![k <0](https://wikimedia.org/api/rest_v1/media/math/render/svg/d59e54fad8568e90715f2b10521d3e39bc45fca9)
oén,j(t)=e-t(o/q)(j-én)/2én|j-én|(2toq).{\ displaystyle p_ {i, j} (t) = e ^ {- t} (p / q) ^ {(ji) / 2} I_ {| ji |} (2t {\ sqrt {pq}}).}![{\ displaystyle p_ {i, j} (t) = e ^ {- t} (p / q) ^ {(ji) / 2} I_ {| ji |} (2t {\ sqrt {pq}}).}](https://wikimedia.org/api/rest_v1/media/math/render/svg/df76925053656f50000e2073938770a07ce59f9f)
Mint amikor , úgy van
énnem(x)∼ex/2πx{\ displaystyle I_ {n} (x) \ sim e ^ {x} / {\ sqrt {2 \ pi x}}}
x→+∞{\ displaystyle x \ to + \ infty}![{\ displaystyle x \ to + \ infty}](https://wikimedia.org/api/rest_v1/media/math/render/svg/0ac2c4d9c1dd87b1f5715377dc1847793939a93a)
limt→+∞naplóoén,j(t)t=2oq-1.{\ displaystyle \ lim _ {t \ to + \ infty} {\ frac {\ log p_ {i, j} (t)} {t}} = 2 {\ sqrt {pq}} - 1.}
Alkalmazások
Sorelmélet
Az egyik alkalmazási területe a folytonos idejű Markov folyamatok sorban elmélet . Például az M / M / 1 sor ( Kendall jelölése szerint ) egy olyan modell, ahol a processzornak fel kell dolgoznia a kéréseket, amelyek (sorrendben) felhalmozódnak egy sorban. A kérések exponenciális aránytörvény szerint érkeznek, és a processzor exponenciális aránytörvényekkel dolgozza fel őket . Az alapul szolgáló karakterlánc:
λ{\ displaystyle \ lambda}
μ{\ displaystyle \ mu}![\ mu](https://wikimedia.org/api/rest_v1/media/math/render/svg/9fd47b2a39f7a7856952afec1f1db72c67af6161)
A sebességmátrix (végtelen kis generátor) pedig:
Q=(-λλμ-(μ+λ)λμ-(μ+λ)λμ-(μ+λ)λ⋱){\ displaystyle Q = {\ begin {pmatrix} - \ lambda & \ lambda \\\ mu & - (\ mu + \ lambda) & \ lambda \\ & \ mu & - (\ mu + \ lambda) & \ lambda \\ && \ mu & - (\ mu + \ lambda) & \ lambda & \\ &&&& \ ddots \ end {pmatrix}}}![Q = {\ elején {pmatrix} - \ lambda & \ lambda \\\ mu & - (\ mu + \ lambda) & \ lambda \\ & \ mu & - (\ mu + \ lambda) & \ lambda \\ && \ mu & - (\ mu + \ lambda) & \ lambda & \\ &&&& \ ddots \ end {pmatrix}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/83766149de7c1a04c5470ce6aef618162454e063)
Megjegyzések és hivatkozások
-
( Norris 1997 , 2.8.2. Tétel)
Bibliográfia
- Désesquelles P.: Markov-folyamatok a biológiában, a szociológiában, a geológiában, a kémia, a fizika és az ipari alkalmazások területén. Ellipszisek, 2016.
- E. Pardoux: Markov-folyamatok és alkalmazások. Dunod, 2007.
- B. Sericola: Markov-láncok - Elmélet, algoritmusok és alkalmazások. Lavoisier, 2013.
- (en) JR Norris , Markov Chains , Cambridge University Press ,1997
- JFC Kingman: Markov átmenet valószínűségének exponenciális bomlása . Proc. London Math. Soc. 337-358 (1963).
Külső hivatkozás
Fejezet „Poisson folyamat” a mester természetesen „sztochasztikus modellek” (2002) által Dominique Bakry a témában, sokkal inkább az elmélet mérés .
<img src="https://fr.wikipedia.org/wiki/Special:CentralAutoLogin/start?type=1x1" alt="" title="" width="1" height="1" style="border: none; position: absolute;">