Teoreticke postupy

Nalezení trvalých a přechodných stavů

1. Vytvořte si matici přechodů $P$ na základě diagramu pravděpodobností přechodu.
2. Identifikujte uzavřené cykly ve stavovém prostoru. Stavy, které tvoří uzavřené cykly, jsou trvalé stavy.
3. Pokud existují stavy, ze kterých lze přejít do uzavřeného cyklu, ale nelze se z něj vrátit, jsou tyto stavy přechodné.

Určení periody každého stavu

1. Pro každý trvalý stav identifikujte všechny cykly, ve kterých se nachází.
2. Pro každý trvalý stav najděte největšího společného dělitele (GCD) délek těchto cyklů. Tento GCD je periodou tohoto stavu.

Nalezení stacionárního rozdělení pomoci klasifikace

1. Klasifikujte stavy: Rozdělte stavy do dvou skupin - trvalé (rekurentní) a přechodné (tranzientní). K tomu můžete využít definici rekurentního a tranzientního stavu.

2. Identifikujte uzavřené množiny rekurentních stavů: Určete uzavřené množiny $C_1, C_2, \ldots$ rekurentních stavů. Toto jsou trvalé třídy stavů, z nichž žádný stav nemá přechody ven do tranzientních stavů.

3. Nastavte stacionární rozdělení pro přechodné stavy na 0: Jakmile identifikujete přechodné stavy, můžete pro ně nastavit stacionární rozdělení na 0, protože nemají dlouhodobý vliv.

4. Vyřešte pro stacionární rozdělení rekurentních tříd: Pro každou uzavřenou množinu rekurentních stavů $C_i$, vyřešte soustavu $\pi_{C_i} P_{C_i} = \pi_{C_i}$ a $\sum_{i \in C_i} \pi_{i} = 1$, kde $P_{C_i}$ je podmatice přechodů odpovídající třídě $C_i$ a $\pi_{C_i}$ je stacionární rozdělení pro tuto třídu.

5. Sestavte celkové stacionární rozdělení: Stacionární rozdělení celého Markovského řetězce je sestaveno z hodnot, které jste našli pro rekurentní třídy, s přechodnými stavy nastavenými na 0.

6. Ověřte výsledné stacionární rozdělení: Ověřte, že výsledné stacionární rozdělení splňuje rovnici $\pi P = \pi$, kde $P$ je původní matice přechodů a $\pi$ je stacionární rozdělení, a že součet prvků stacionárního rozdělení je roven 1.