3. Funkce více proměnných: gradient, Hessián, definitnost matic, extrémy funkcí více proměnných bez omezení a s rovnostními omezeními. (NI-MPI)

---

Funkce vice proměnných

Norma

• Laicky: jedna se o vzdálenost v prostoru od počátečního bodu $0$
• Norma na vektorovém prostoru $V$ je zobrazeni $||\cdot||: V\rightarrow \mathbb{R}_0^+$ které splňuje vlastnosti:
  • $||x|| = 0 \rightarrow x=0$
  • $||\alpha x|| = \alpha ||x||$
  • $||x+y||=||x|| + ||y||$

Užitečné pojmy

• Okolí bodu: nebo $\delta$ - okolí $x$ je množina: $H_\delta (x) = \{b \in \mathbb{R}^n: ||x-b||<\delta\}$
• Hromadný bod: $x \in \mathbb{R}^n$: $\forall r>0: \quad (H_r(x)\setminus\{x\}) \cap M \neq \emptyset$
• Izolovaný bod: Bod který není hromadný

Funkce vice proměnných

• Je to funkce která ma $n$ reálných parametrů a vrací reálnou hodnotu
• Reálna funkce vice reálných proměnných je zobrazeni: $$f:\quad D_f \rightarrow \mathbb{R}$$
• $D_f \subseteq \mathbb{R}^n$
  • Tedy funkce $f$ ma definiční obor v $\mathbb{R}^n$
• $D_f:$ Je definiční obor
• $f(D_f):$ Je obor hodnot
• Graf funkce $f$ je množina která definuje všechny možnosti výsledků neboli:
  • $$\Gamma_f = \{(b_1,b_2,...,b_n,f(b_1,b_2,...,b_n)):(b_1,b_2,...,b_n) \in D_f\} \subset \mathbb{R}^{n+1}$$
  • Vždy leží o dimenzi výš než dimenze funkce

Limita funkce

• Řekneme, ze funkce $f: D_f \rightarrow \mathbb{R},\ D_f \subset \mathbb{R}^n$, ma limitu $L\in\mathbb{R}$ v hromadném bode $b$ množiny $D_f$ pokud:
  • Pro libovolné okolí bodu $L$ existuje okolí bodu $b$ takové, že pro každý bod $x$ z tohoto okolí (kromě bodu $b$ samotného) platí, že hodnota funkce $f(x)$ leží v původním okolí bodu $L$
  • $$\forall H(L)\quad \exists H(b)\quad x \in (D_f\cap H(b))\setminus\{b\} \Rightarrow f(x)\in H(L)$$

Parciální derivace

• Geometricky význam parciální derivace se snaží najit směrnici tečny ke grafu funkce $f$ ve směru osy $x_i$ tedy ve směru ve kterém derivuji v nějakém specifickém bode.
• Parciální derivace funkce $f$ ve směru $x_i$ v bodě $b = (b_1, b_2, ... , b_n) \in D_f$ takovém, že $\exists H(b) \subset D_f$ , je (pokud existuje): $$\lim_{h\rightarrow 0}\frac{f(b_1,b_2,...,b_i+h,...,b_n)-f(b_1,b_2,...,b_i,...,b_n)}{h} = L \in \mathbb{R}$$

• Značíme: $\frac{\delta f}{\delta x_i}(b)=L$

• Parciální derivace druhého řádu je vlastně postupná parciální derivace tedy:

  • $$\frac{\delta^2 f}{\delta x_j \delta x_i}(b) = \frac{\delta f}{\delta x_j}(\frac{\delta f}{\delta x_i})(b)$$

Gradient

• Geometricky význam gradientu je ze ukazuje směr (v $D_f$) nejvyššího růstu funkce $f$
• Gradient funkce $f$ v bodě $b \in D_f$ je (řádkový) vektor: $$\nabla f(b) = (\frac{\delta f}{\delta x_1}(b),\frac{\delta f}{\delta x_2}(b),...,\frac{\delta f}{\delta x_n}(b))$$

Hessova matice

• Existují-li všechny druhé parciální derivace funkce f v bodě b, pak se zaznamenávají do matice takto:

$$\nabla^2 f(b) = \begin{bmatrix} \frac{\partial^2 f}{\partial x_1^2}(b) & \cdots & \frac{\partial^2 f}{\partial x_1 \partial x_n}(b) \\ \vdots & \ddots & \vdots \\ \frac{\partial^2 f}{\partial x_n \partial x_1}(b) & \cdots & \frac{\partial^2 f}{\partial x_n^2}(b) \end{bmatrix}$$

• Pokud je funkce spojitá v bode $b$ dokážeme zaměňovat poradí derivace: $$\frac{\delta^2 f}{\delta x_j \delta x_i}(b) = \frac{\delta^2 f}{\delta x_i \delta x_j}(b)$$
  • Kvůli tomu je často Hessova matice symetrická

Definitnost matic

• Mějme $A \in R^{n,n}$. Řekneme, že matice $A$ je

  • pozitivně semidefinitní, pokud $x^T A x \geq 0$ pro $\forall x \in R^{n,1}$
  • pozitivně definitní, pokud $x^T A x > 0$ pro $\forall x \in R^{n,1}, x \neq 0$
  • negativně semidefinitní, pokud $x^T Ax \leq 0$ pro $\forall x \in R^{n,1}$
  • negativně definitní, pokud $x^T A x < 0$ pro $\forall x \in R^{n,1}, x \neq 0$
  • indefinitní, pokud není pozitivně ani negativně semidefinitní.

• Buď $A \in R^{n,n}$ symetrická matice. Potom platí následující:

  • Matice A je pozitivně semidefinitní právě tehdy, když všechna její vlastní čísla jsou nezáporná.
  • Matice A je pozitivně definitní právě tehdy, když všechna její vlastní čísla jsou kladná.
  • Matice A je negativně semidefinitní právě tehdy, když všechna její vlastní čísla jsou nekladná.
  • Matice A je negativně definitní právě tehdy, když všechna její vlastní čísla jsou záporná.
  • Matice A je indefinitní právě tehdy, když má alespoň jedno kladné a alespoň jedno záporné vlastní číslo.

Silvestrovo kritérium

• Buď $A \in R^{n,n}$ symetrická matice. Pro matici $A \in R^{n,n}$ definujeme matice $A_1, A_2, . . . , A_n$ takto: $A_k \in R^{k,k}$ je čtvercová matice v levém horním rohu matice A. Platí:
  • Matice A je pozitivně definitní právě tehdy, když je determinant všech matic A1, A2, . . . , An kladný.
  • Matice A je negativně definitní právě tehdy, když je determinant matic Ak záporný pro k liché a kladný pro k sudé

Lokální extrémy

• Funkce $f$ má v bodě $b \in D_f$

  • Lokální minimum, pokud: $\exists \delta>0,\ \forall x \in (D_f \cap H_\delta(b)),f(x) \geq f(b)$
  • Ostré lokální minimum, pokud: $\exists \delta>0,\ \forall x \in (D_f \cap H_\delta(b))\setminus \{b\},f(x) > f(b)$
  • Globální minimum, pokud: $\forall x \in D_f,\ f(x) \geq f(b)$

• Nutná podmínka lokálního extrému: Mějme funkci $f: D_f \rightarrow \mathbb{R}$. Aby měla extrém v bode $b$ musí mít první derivaci v bode $b$ rovnou $0$

• Stacionární body: Jsou takové body které mají: $\nabla f(b)=0$
• Kritické body: Jsou takové body které jsou podezřele z extrému to jsou:
  • Body stacionární
  • Body ve kterých gradient neexistuje

Postačující podmínka existence extrému a sedlového bodu

• Nechť $b \in D_f$ je stacionární bod funkce $f:\ D_f \rightarrow \mathbb{R},\ D_f \subset R^n$. Nechť existuje okolí $H(b) \subset D_f$ takové, že $f$ má na $H(b)$ spojité všechny druhé parciální derivace, potom:
  • je-li $\nabla^2 f (b)$ pozitivně definitní, pak $b$ je ostré lokální minimum
  • je-li $\nabla^2 f (b)$ negativně definitní, pak $b$ je ostré lokální maximum
  • je-li $\nabla^2 f (b)$ indefinitní, pak $b$ je sedlový bod.

Nutná podmínka existence lokálního extrému

• Nechť $b \in D_f$ je stacionární bod funkce $f:\ D_f \rightarrow \mathbb{R},\ D_f \subset R^n$. Nechť existuje okolí $H(b) \subset D_f$ takové, že $f$ má na $H(b)$ spojité všechny druhé parciální derivace, potom:
  • je-li $b$ lokální minimum, pak $\nabla^2 f (b)$ je pozitivně semidefinitní
  • je-li $b$ lokální maximum, pak $\nabla^2 f (b)$ je negativně semidefinitní

Postup analytického hledání extrémů

1. Najít kritické body, tj. stacionární body a body, kde alespoň jedna parciální derivace neexistuje.
2. Pokud jsou všechny druhé parciální derivace v okolí stacionárního bodu $b$ spojité, nalézt Hessovu matici. Pokud je tato matice
   1. pozitivně definitní, pak je bod $b$ bodem ostrého lokálního minima;
   2. negativně definitní, pak je bod $b$ bodem ostrého lokálního maxima;
   3. indefinitní, pak je bod $b$ sedlovým bodem (tj. není extrémem).

Lokální extrémy s rovnostním omezením

Úloha vázaného extrému je obecně následující: Minimalizuj za podmínek:

1. $f(x)$
2. Rovnostní vazby: $g_j(x)=0,\ j \in \hat m \quad \hat m = \{1,...,m\}\quad m \in \mathbb{N}$
3. Nerovnostní vazba: $h_k(x) \leq 0,\ k \in \hat p \quad \hat p = \{1,...,p\} \quad p \in \mathbb{N}$

kde $f,g_j,h_k$ jsou funkce $D \rightarrow \mathbb{R}$, kde $D \subset \mathbb{R}^n$

Postup s rovnostními vazbami

Lagrangeova funkce

• Lagrangeova funkce ($L:\ M\times \mathbb{R}^m \rightarrow \mathbb{R}$) je vlastně funkce která bere původní funkci $f:\ D_f \rightarrow \mathbb{R},\ D_f \subset R^n$ a rovnostní omezeni a vytváří z toho jednu funkci
• $$L(x;\lambda) = f(x) + \sum_{j=1}^m \lambda_jg_j(x)$$
• Lagrangeovi multiplikátory jsou: $\lambda = (\lambda_1,...,\lambda_m)$

Postačující podmínka existence ostrého lokálního minima pro rovnostní vazby

Nechť $f, g_j , j \in \{1, ... , m\}$ mají spojité všechny druhé parciální derivace na nějaké otevřené nadmnožině $\tilde M \supset M$. Pokud dvojice $(x^∗; \lambda^∗) \in R^n \times R^m$ splňuje podmínky:

1. (0. derivace) $x^* \in M$
2. (1. derivace) $\forall i,\ \frac{\delta L}{\delta x_i}(x^*;\lambda^*) = 0$
3. (2. derivace) pro každý (sloupcový) vektor $0 \neq c \in \mathbb{R}^n$ splňující: $$\nabla g_j(x^*)\cdot v = 0, \quad \forall j \in \{1,...,m\},$$ platí $$v^T \cdot \nabla^2_xL(x^*;\lambda^*)\cdot v > 0$$ kde $\nabla^2_xL$ je Hessova matice funkce $L$ vzhledem k proměním $x = (x_1,...x_n)$

Potom je $x^*$ bodem ostrého lokálního minima