Kaavio Markov-ketjusta ja tilaluokitus

Kuvaaja Markovin ketjun ja luokittelu valtioiden ovat käsitteiden graafiteoria käytettävien todennäköisyydellä hammaskiven .

Kaavio Markov-ketjusta

Kuvaaja on Markovin ketju on suunnattu graafi määritelty päässä tila-avaruudessa ja siirtymämatriisiG{\ displaystyle G}E{\ displaystyle E}

 P=(si,j)(i,j)∈E2{\ displaystyle \ P = \ left (p_ {i, j} \ right) _ {(i, j) \ in E ^ {2}}}

tämän Markov-ketjun  :

• - pisteet ovatG{\ displaystyle G}E,{\ displaystyle E,}
• reunat ovat parit tarkistamassaG{\ displaystyle G}(i,j)∈E2{\ displaystyle (i, j) \ muodossa E ^ {2}}

si,j>0.{\ displaystyle p_ {i, j}> 0.}

Tilojen luokitus

Sillä , sanomme, että on saavutettavissa päässä jos ja vain jos se on olemassa , että Merkitään: (i,j)∈E2{\ displaystyle (i, j) \ muodossa E ^ {2}}j{\ displaystyle j}i{\ displaystyle i}ei≥0{\ displaystyle n \ geq 0}P(Xei=j∣X0=i)>0.{\ displaystyle \ mathbb {P} (X_ {n} = j \ keskellä X_ {0} = i)> 0.}

{j←i}⇔{∃ei≥0 kuten si,j(ei)>0}.{\ displaystyle \ {j \ leftarrow i \} \ quad \ Leftrightarrow \ quad \ left \ {\ olemassa n \ geq 0 {\ text {kuten}} p_ {i, j} ^ {(n)}> 0 \ oikea \}.}

Sanomme sen ja kommunikoimme vain ja vain, jos niitä on olemassa , ja me merkitsemme: i{\ displaystyle i}j{\ displaystyle j}(ei,m)∈EI2{\ displaystyle (n, m) \ sisään \ mathbb {N} ^ {2}}P(Xei=j∣X0=i)>0{\ displaystyle \ mathbb {P} (X_ {n} = j \ keskellä X_ {0} = i)> 0}P(Xm=i∣X0=j)>0.{\ displaystyle \ mathbb {P} (X_ {m} = i \ keskellä X_ {0} = j)> 0.}

{j↔i}⇔{j←i ja i←j}.{\ displaystyle \ {j \ vasenkätinen nuoli i \} \ quad \ vasen oikeanpuoleinen \ quad \ vasen \ {j \ vasen nuoli i {\ text {ja}} i \ vasen nuoli j \ oikea \}.}

Suhde kommunikoida , huomattava on ekvivalenssirelaatio . Kun puhumme luokasta puhuessamme Markov-ketjun tiloista, viitataan yleensä suhteen vastaavuusluokkiin . Jos kaikki valtiot kommunikoivat, Markov-ketjun sanotaan olevan lukukelvoton . ↔,{\ displaystyle \ vasenkätinen nuoli,}↔{\ displaystyle \ leftrightarrow}

Käytettävissä olevan , ilmaistun suhde ulottuu ekvivalenssiluokkiin: kahdelle luokalle ja meillä on ←,{\ displaystyle \ vasen nuoli,}VS{\ displaystyle C}VS′{\ displaystyle C ^ {\ prime}}

{VS←VS′}⇔{∃(i,j)∈VS×VS′,i←j}⇔{∀(i,j)∈VS×VS′,i←j}.{\ displaystyle \ {C \ vasen nuoli C ^ {\ prime} \} \ quad \ Leftightarrow \ quad \ left \ {\ olemassa (i, j) \ in C \ kertaa C ^ {\ prime}, \ qquad i \ leftarrow j \ right \} \ quad \ Leftightarrow \ quad \ left \ {\ forall (i, j) \ in C \ kertaa C ^ {\ prime}, \ qquad i \ leftarrow j \ right \}.}

Suhde on vastaavuusluokkien välinen järjestyssuhde . ←{\ displaystyle \ vasen nuoli}

Luokan sanotaan olevan lopullinen, jos se ei johda mihinkään muuhun, eli jos luokka on suhteelle minimaalinen, muuten luokan sanotaan olevan väliaikainen . ←.{\ displaystyle \ vasen nuoli.}

On

Mij={ei≥0 | P(Xei=j∣X0=i)>0}.{\ displaystyle M_ {ij} = \ {n \ geq 0 \ | \ P (X_ {n} = j \ keskellä X_ {0} = i)> 0 \}.}

Tilan jakso on joukon GCD.Jos kaksi tilaa kommunikoi, niillä on sama jakso: voimme siis puhua tilaluokan jaksosta. Jos jakso on yhtä suuri kuin 1, luokan sanotaan olevan aperiodinen . i{\ displaystyle i}Mii.{\ displaystyle M_ {ii}.}

Tilojen luokittelu voidaan lukea yksinkertaisella tavalla Markov-ketjun kaaviosta.

Satunnainen kävely rajallisella ryhmällä:

Harkitse ryhmä ja todennäköisyysmitta tähän ryhmään, ja sarja on satunnaismuuttujien riippumaton lain on aiheuttanut (G,⊕){\ displaystyle (G, \ oplus)}μ{\ displaystyle \ mu}(Yei)ei≥1{\ displaystyle (Y_ {n}) _ {n \ geq 1}} μ.{\ displaystyle \ mu.}

X0=x0∈Gja∀ei≥1, Xei=Xei-1⊕Yei.{\ displaystyle X_ {0} = x_ {0} \ in G \ quad {\ text {et}} \ quad \ forall \, n \ geq 1, \ X_ {n} = X_ {n-1} \ oplus Y_ {ei}.}

Niin sanotaan satunnainen kävely ei ryhmässä , stokastinen prosessi on Markov-prosessi . Se on Markov-ketju, jos se on rajallinen tai laskettavissa (tässä tapauksessa ). Huomaa tuki on  : (Xei)ei≥0{\ displaystyle (X_ {n}) _ {n \ geq 0}}μ{\ displaystyle \ mu}(G,⊕).{\ displaystyle (G, \ oplus).}(Xei)ei≥0{\ displaystyle (X_ {n}) _ {n \ geq 0}}G{\ displaystyle G}μ=(μg)g∈G{\ displaystyle \ mu = (\ mu _ {g}) _ {g \ G}: ssä}supp(μ){\ displaystyle {\ text {supp}} (\ mu)}μ{\ displaystyle \ mu}

supp(μ)={g∈G|μg>0},{\ displaystyle {\ text {supp}} (\ mu) = \ {g \ in G \ quad | \ quad \ mu _ {g}> 0 \},}

ja merkitsevät alaryhmän, jonka generoi Sitten oikean moduulin (tyypin ) luokat ovat myös luokat relaatiolle. Nämä luokat ovat kaikki lopullisia. H{\ displaystyle H}supp(μ).{\ displaystyle {\ text {supp}} (\ mu).}H,{\ displaystyle H,}xH={xh | h∈H}{\ displaystyle xH = \ {xh \ | \ h \ sisään H \}}↔.{\ displaystyle \ vasenkätinen nuoli.}

Vaiheet kuutiossa:

• Random walk on reunat kuution voidaan nähdään kävellä ryhmä vaiheiden itse asiassa lisätään yksi 3 vektoreiden kanoninen emäksen määrät muuttuviin yksi kolmesta koordinaatit lähtökohta, eli tämä määrä on otto- , satunnaisesti, yksi kolmesta reunasta aloituspisteestä. Tässä tapauksessa kävelyä ei voida vähentää.(Z23,+),{\ displaystyle (\ mathbb {Z} _ {2} ^ {3}, +),}μ0=13(5(1,0,0)+5(0,1,0)+5(0,0,1)):{\ displaystyle \ mu _ {0} = {\ tfrac {1} {3}} (\ delta _ {(1,0,0)} + \ delta _ {(0,1,0)} + \ delta _ {(0,0,1)}):}H0=⟨supp(μ0)⟩=G,{\ displaystyle H_ {0} = \ langle {\ text {supp}} (\ mu _ {0}) \ rangle = G,}
• Jos askel on ja askelella on kaksi viimeistä luokkaa: 2 vaakasuuntaista pintaa.μ1=12(5(1,0,0)+5(0,1,0)),{\ displaystyle \ mu _ {1} = {\ tfrac {1} {2}} (\ delta _ {(1,0,0)} + \ delta _ {(0,1,0)}),} H1=⟨supp(μ1)⟩=Z22×{0},{\ displaystyle H_ {1} = \ langle {\ text {supp}} (\ mu _ {1}) \ rangle = \ mathbb {Z} _ {2} ^ {2} \ kertaa \ {0 \},}
• Jos askel on ja kävelyllä on 4 viimeistä luokkaa: 4 pystysuoraa reunaa.μ2=5(0,0,1),{\ displaystyle \ mu _ {2} = \ delta _ {(0,0,1)},} H2={0}2×Z2,{\ displaystyle H_ {2} = \ {0 \} ^ {2} \ kertaa \ mathbb {Z} _ {2},}
• Jos askel on ja kävelyllä on kaksi viimeistä luokkaa: kaksi kirjoitettua tetraedraa.μ3=12(5(0,1,1)+5(1,0,1)),{\ displaystyle \ mu _ {3} = {\ tfrac {1} {2}} (\ delta _ {(0,1,1)} + \ delta _ {(1,0,1)}),} |H3|=4,{\ displaystyle | H_ {3} | = 4,}

Satunnaiset vaiheet kahdeksankulmiossa:

• 1 st  Markovin ketjun Kuvion vastaan on satunnainen kävellä syklinen ryhmä on ei Tässä esimerkissä,Z8,{\ displaystyle \ mathbb {Z} _ {8},}μ=s51+q5-1.{\ displaystyle \ mu = p \ delta _ {1} + q \ delta _ {- 1}.}H=⟨supp(μ)⟩=Z8.{\ displaystyle H = \ langle {\ text {supp}} (\ mu) \ rangle = \ mathbb {Z} _ {8}.}
• Kuvan 2 e  Markov-ketju on satunnainen kävely kaksisuuntaisella vaiheiden ryhmällä , joka on symmetrian neliö (abcd) suhteessa lävistäjään (a, c), joka on neliön symmetria sen vaaka-akselilla , kaksi muuta symmetriaa ovat ja  ; on kulman kierto Tässä esimerkissäD.4,{\ displaystyle D_ {4},}v=s5τ+q5ρ,{\ displaystyle \ nu = p \ delta _ {\ tau} + q \ delta _ {\ rho},}τ=(b,d){\ displaystyle \ tau = (b, d)}ρ=(klo,b)(vs.,d){\ displaystyle \ rho = (a, b) (c, d)}τ∘ρ∘τ{\ displaystyle \ tau \ circ \ rho \ circ \ tau}ρ∘τ∘ρ{\ displaystyle \ rho \ circ \ tau \ circ \ rho}σ=ρ∘τ=(klo,b,vs.,d){\ displaystyle \ sigma = \ rho \ circ \ tau = (a, b, c, d)}π/2.{\ displaystyle \ pi / 2.}H=⟨supp(v)⟩=D.4.{\ displaystyle H = \ langle {\ text {supp}} (\ nu) \ rangle = D_ {4}.}

Nämä kaksi ketjua ovat siis toistamattomia ja positiivisia toistuvia yhtenäisen paikallaan olevan lain mukaan.

Sanasto: Markov-ketjukuvaajat

• Raportti on saatavissa raportista jos ja vain jos yksi seuraavista kahdesta ehdosta täyttyy: j{\ displaystyle j}i{\ displaystyle i}
  • kaaviossa on polku, joka kulkee ylhäältä ylöspäini{\ displaystyle i}j{\ displaystyle j}G,{\ displaystyle G,}
  • i=j.{\ displaystyle i = j.}
• Markovin ketju on redusoitumaton , jos ja vain jos sen kuvaaja on vahvasti kytketty , toisin sanoen jos mikä tahansa pari on graafin solmut on olemassa polku kohteeseen ja polku kohteeseeni≠j{\ displaystyle i \ neq j}i{\ displaystyle i}j{\ displaystyle j} j{\ displaystyle j}i.{\ displaystyle i.}
• Markov-ketjun luokka on vahvasti kytketty komponentti sen kuvaajassa. Sivun yläosassa olevassa ensimmäisessä kuvassa (tiloilla 1, 2, 3, 4, 5) Markov-ketjukuvaajan indusoimalla suuntaamattomalla kuvaajalla on 2 yhdistettyä komponenttia , mutta Markov-ketjukuvaaja (joka on suunnattu kaavio) sisältää 3 vahvasti liitettyä komponenttia , koska 2 ei ole yhteydessä 1: een eikä 3: een.

Kaavio Markov-ketjusta ja todennäköisyysominaisuudet

Markov-ketjun tilojen tietyt todennäköisyysominaisuudet jaetaan kaikille saman luokan tiloille. Tarkemmin:

• jos luokka ei ole lopullinen, kaikki sen tilat ovat ohimeneviä (tai ohimeneviä),VS{\ displaystyle C}
• jos luokka on sekä lopullinen että äärellinen, kaikki sen tilat ovat toistuvia positiivisia .VS{\ displaystyle C}

Lopullisen luokan tilat voivat hyvinkin olla kaikki transientit (esimerkiksi puolueellisen yksinkertaisen kävelyn tapauksessa tai kaikki nolla toistuvat) (esimerkiksi symmetrisen yksinkertaisen kävelyn kohdalla. Enintään on välttämätöntä, että kyseessä oleva lopullinen luokka on ääretön. On myös esimerkkejä positiivisesta toistuvasta loputtomasta loppuluokasta. Z),{\ displaystyle \ mathbb {Z}),}Z).{\ displaystyle \ mathbb {Z}).}

Muuten,

• jos se on olemassa toistuvia luokassa , niin mitään valtiota ja on toistuva,i{\ displaystyle i} VS{\ displaystyle C}j{\ displaystyle j}VS{\ displaystyle C}
• jos on positiivinen toistuva luokan , sitten mikä tahansa tila on on positiivinen toistuva,i{\ displaystyle i} VS{\ displaystyle C}j{\ displaystyle j}VS{\ displaystyle C}
• jos on null toistuva luokan , sitten mikä tahansa tila on on nolla toistuva,i{\ displaystyle i} VS{\ displaystyle C}j{\ displaystyle j}VS{\ displaystyle C}
• jos on ohimenevä luokassa , niin mitään valtiota ja on ohimenevä,i{\ displaystyle i} VS{\ displaystyle C}j{\ displaystyle j}VS{\ displaystyle C}
• jos on aika luokan , sitten mikä tahansa tila ja on aikai{\ displaystyle i}d{\ displaystyle d}VS{\ displaystyle C}j{\ displaystyle j}VS{\ displaystyle C}d,{\ displaystyle d,}
• jos on jaksoton luokassa , niin mitään valtiota ja on jaksoton.i{\ displaystyle i}VS{\ displaystyle C}j{\ displaystyle j}VS{\ displaystyle C}

Siksi sanomme, että luokka on ohimenevä, toistuva, aperiodinen jne. koska ne ovat itse asiassa luokan ominaisuuksia sekä tietyn tilan ominaisuuksia. VS{\ displaystyle C}

<img src="https://fr.wikipedia.org/wiki/Special:CentralAutoLogin/start?type=1x1" alt="" title="" width="1" height="1" style="border: none; position: absolute;">