Reseni

Dobře, pojďme se podívat na každou část této otázky postupně.

(a) Nalezení trvalých a přechodných stavů

Začneme tím, že identifikujeme trvalé a přechodné stavy. V případě Markovských řetězců s diskrétním časem, trvalý stav je stav, do kterého se může systém vrátit s nenulovou pravděpodobností. Přechodný stav je stav, který může být, jakmile je opuštěn, navštíven znovu s pravděpodobností nula.

Podívejme se na naši matici přechodů:

$$\begin{pmatrix} 0 & 1 & 0 & 0 & 0 \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0.5 & 0 & 0.5 & 0 \\ 0 & 0 & 0 & 0 & 1 \\ 0 & 0 & 0 & 1 & 0 \\ \end{pmatrix}$$

Stavy jsou trvalé, pokud tvoří uzavřený cyklus, do kterého se můžeme kdykoliv vrátit. Vidíme, že stavy 2 a 3 tvoří takový cyklus, a proto jsou trvalé.

Zbylé stavy (1, 4, 5) jsou přechodné, protože jakmile opustíme tyto stavy, nemůžeme se do nich vrátit.

(c) Nalezení stacionárního rozdělení

Stacionární rozdělení $\pi$ je vektor pravděpodobností, který splňuje následující podmínku:

$$\pi P = \pi$$

kde $P$ je matice přechodů.

Chceme tedy najít vektor $\pi$, pro který platí:

$$\pi \begin{pmatrix} 0 & 1 & 0 & 0 & 0 \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0.5 & 0 & 0.5 & 0 \\ 0 & 0 & 0 & 0 & 1 \\ 0 & 0 & 0 & 1 & 0 \\ \end{pmatrix} = \pi$$

Všimněme si, že v tomto konkrétním případě jsou stavy 1, 4 a 5 přechodné, takže pravděpodobnost stacionárního rozdělení bude pro tyto stavy rovna nule. Stavy 2 a 3 tvoří uzavřený cyklus, takže stacionární rozdělení můžeme vyjádřit jako

$$\pi = (0, \frac{1}{2}, \frac{1}{2}, 0, 0)$$

To znamená, že v dlouhodobém horizontu se systém bude pohybovat mezi stavy 2 a 3 s pravděpodobností 1/2 pro každý stav, a nikdy se nevrátí do stavů 1, 4 a 5.