21. Autoregresní modely (AR) a modely klouzavých průměrů (MA): základní vlastnosti modelů/procesů, jejich stacionarita. Zápis AR a MA, včetně zápisu pomocí operátoru zpoždění. Identifikace řádů AR a MA z autokorelačních funkcí a pomocí informačních kritérií. (NI-SCR)

---

Úvodní matematické předpoklady

Autokorelační funkce (ACF):

• Definuje míru lineární závislosti mezi hodnotou časové řady a jejími zpožděnými hodnotami.
• Pro danou časovou řadu $\{X_t\}$ je ACF pro lag $k$ definována jako $$\rho(k) = \frac{\operatorname{cov}(X_t,X_{t-k})}{\sqrt{\operatorname{var} (X_t)\operatorname{var}(X_{t-k})}}$$ kde předpokládáme konstantní střední hodnotu a rozptyl (tj. slabou stacionaritu).

Parciální autokorelační funkce (PACF):

• Měří vzájemnou závislost mezi $X_t$ a $X_{t-k}$ po odstranění vlivu všech hodnot mezi nimi (tj. $X_{t-1},X_{t-2},\dots,X_{t-k+1}$).
• PACF je užitečná při identifikaci řádu autoregresního procesu, neboť u AR($p$) má hodnoty pro lags větší než $p$ tendenci vypadat jako nulové.

Informační kritéria:

• Slouží k výběru optimálního modelu (zejména při volbě řádu parametrů) kombinací míry dobrého přizpůsobení modelu a penalizace za složitost.
• Akaikeho informační kritérium (AIC): $$AIC = -2\log(L) + 2k$$ kde $L$ je maximální hodnota funkce věrohodnosti (likelihood) modelu a $k$ počet volně odhadnutých parametrů. Nižší hodnota AIC preferuje lepší model.
• Bayesovské informační kritérium (BIC): $$BIC = -2\log(L) + k\log(n)$$ kde $n$ je počet pozorování. BIC penalizuje složitost modelu silněji než AIC, a proto vybírá jednodušší modely, pokud počet dat roste.

Operátor zpoždění

Operátor zpoždění, známý také jako lag (backshift) operátor, značíme $B$ nebo $L$ a používáme jej pro zjednodušení zápisu časových řad. Definujeme jej následovně:

$$\begin{aligned} B X_t &= X_{t-1}, \\ B^{-1}X_t &= X_{t+1}, \\ B^k X_t &= \underbrace{B \cdot B \cdots B}_{k \text{ krát}}X_t = X_{t-k}. \end{aligned}$$

Tímto způsobem můžeme formulovat modely kompaktně, což napomáhá při analýze stacionarity a dalších vlastností.

Autoregresní modely (AR)

Autoregresní modely (AR) vyjadřují aktuální hodnotu časové řady jako lineární kombinaci předchozích hodnot a náhodné složky. Tyto předchozí hodnoty zachycují "paměť" časové řady.

Obecný tvar AR($p$):

$$X_t = c + \phi_1 X_{t-1} + \phi_2 X_{t-2} + \cdots + \phi_p X_{t-p} + \varepsilon_t,$$

kde:

• $X_t$ je aktuální hodnota časové řady.
• $c$ je konstanta – často reprezentuje střední hodnotu procesu.
• $\phi_1, \phi_2, \ldots, \phi_p$ jsou autoregresní koeficienty; vysvětlují, kolik váhy má každá z předchozích hodnot při tvorbě aktuální hodnoty.
• $\varepsilon_t$ je reziduální složka, neboli bílý šum s vlastnostmi $E[\varepsilon_t]=0$ a $Var(\varepsilon_t)=\sigma^2$.

Zápis pomocí operátoru zpoždění ($L$):

Pomocí lag operátoru lze model zapsat kompaktně. Použijeme definici $B X_t = X_{t-1}$ a zapisujeme:

$$\begin{aligned} X_t &= \sum_{i=1}^p \phi_i X_{t-i} + \varepsilon_t \qquad\text{(vyjádříme $\varepsilon_t$)}\\ \varepsilon_t &= X_t - \phi_1 B^1 X_{t} - \ldots - \phi_p B^p X_{t} = \left( 1 - \sum_{i=1}^p \phi_i B^i\right) X_t. \end{aligned}$$

Stacionarita

• AR proces je stacionární, pokud kořeny rovnice $\phi(L)=0$ (tj. hodnoty $\lambda$, pro které $\phi(\lambda)=0$) leží mimo jednotkový kruh, tedy $|\lambda_i|>1$.
• Splnění této podmínky znamená, že střední hodnota, rozptyl a autokovariance jsou konstantní v čase a závisí pouze na vzdálenosti (lagu).

Modely klouzavých průměrů (MA)

Základní vlastnosti

Modely klouzavých průměrů (MA) popisují aktuální hodnotu časové řady jako lineární kombinaci současných i minulých náhodných šoků (reziduí). U těchto modelů není přímo zahrnuta informace z předchozích hodnot řady, nýbrž z předchozích chyb.

Obecný tvar MA($q$):

$$X_t = c + \varepsilon_t + \theta_1 \varepsilon_{t-1} + \theta_2 \varepsilon_{t-2} + \cdots + \theta_q \varepsilon_{t-q},$$

kde:

• $c$ představuje konstantní střední hodnotu.
• $\theta_1, \theta_2, \ldots, \theta_q$ jsou koeficienty MA, které váží vliv minulých náhodných šoků na aktuální hodnotu.
• $\varepsilon_t$ jsou hodnoty bílého šumu (reziduí) s vlastnostmi $E[\varepsilon_t]=0$ a $Var(\varepsilon_t)=\sigma^2$.

Zápis pomocí operátoru zpoždění ($L$):

Podobně jako u AR modelů využijeme lag operátor k zápisu MA modelu:

$$X_t = \left( 1 + \sum_{i=1}^q \theta_i B^i \right) \varepsilon_t.$$

Tento zápis vyjadřuje, že aktuální hodnota $X_t$ je váženým součtem aktuálního náhodného šoku a předchozích chyb, přičemž koeficient $1$ před $\varepsilon_t$ reprezentuje přímý (aktuální) vliv.

Stacionarita

• Každý konečný MA proces (s konečným $q$) je stacionární, protože střední hodnota a rozptyl a autokovariance (které jsou nenulové pouze pro lags $k \leq q$) jsou konstantní v čase.

Identifikace řádů AR a MA pomocí autokorelačních funkcí a informačních kritérií

Typ modelu	ACF chování	PACF chování
AR($p$)	Exponenciální pokles nebo oscilace bez ostrého řezu	Ostrý řez po lag $p$ (významné korelace do řádu $p$)
MA($q$)	Ostrý řez po lag $q$ (významné pouze do lag $q$)	Exponenciální pokles nebo oscilace

Informační kritéria:

• Akaikeho informační kritérium (AIC):

  • Vyjadřuje kvalitu modelu s ohledem na maximální pravděpodobnost, ale penalizuje také složitost modelu (počet parametrů).
  • Model s nižší hodnotou AIC je preferován, jelikož dosahuje dobré rovnováhy mezi přesností přizpůsobení a parsimonií.

• Bayesovské informační kritérium (BIC):

  • Podobné AIC, nicméně penalizace složitosti je silnější díky členům zahrnujícím logaritmus počtu dat, což znamená, že při velkém vzorku preferuje ještě jednodušší modely.
  • Opět se vybírá model s nejnižší hodnotou BIC.

Tyto informace slouží jako kvantitativní pomoc při výběru řádu modelů AR a MA. V praxi se často testují několik kandidátních modelů, u kterých se následně spočítají AIC a BIC, a nakonec se vybírá ten s nejnižší hodnotou.