ana-lecture/ana14.tex

\documentclass{lecture}
\begin{document}
\newcommand{\pdv}[2]{\frac{\partial #1}{\partial #2}}
\newcommand{\dv}[2]{\frac{\d #1}{\d #2}}
\def\mathunderline#1#2{\color{#1}\underline{{\color{black}#2}}\color{black}}
\section{Extremwertaufgaben}

\begin{definition}[lokales Maximum/Minimum]
    Sei $D \subset \R^n$ offen, $f\colon D\to \R$. Ein Punkt $x\in D$ heißt lokales \underline{Minimum(Maximum)} von $f$, falls eine Umgebung $K_\delta(x)\subset \R^n$ existiert mit \[f(x)\leq f(y),\; \forall y\in K_\delta(x)\cap D\] ($f(x)\geq f(y),\; \forall y\in K_\delta(x)\cap D$). Falls \[f(x) < f(y), \forall y \in K_\delta(x)\cap D\setminus\{x\}\] ($f(x) > f(y)$), dann heißt $x$ \underline{striktes} lokales Minimum (Maximum).
\end{definition}
\begin{satz}[Notwendige Bedingung für lokales Extremum (Min oder Max)]
Sei $D\subset \R^n$ offen, $f\colon D\to \R$ stetig differenzierbar und $x\in D$ ein lokales Extremum von $f$. Dann gilt : $\nabla f(x) = 0$.
\end{satz}
\begin{proof}
    Für $i = 1,\dots,n$, betrachte $g_i(t)\coloneqq f(x + te_i)$. Da $D$ offen sind alle $g_i$ auf einem Intervall $(-\delta, \delta)$ definiert für ein $\delta > 0$, und differenzierbar. $g_i(t)$ hat in $t = 0$ ein lokales Minimum/Maximum $\implies \dv{g_i(t)}{t}\bigg|_{t=0} = 0 \forall i = 1, \dots, n$.
    $f$ total differenzierbar
    \[\implies 0 =  \dv{g_i(t)}{t}\bigg|_{t=0} \oldstackrel{\text{Kettenregel}}{=} \sum_{j = 1}^{n}\pdv{f(x)}{x_j} \cdot \delta_{ij} = \pdv{f(x)}{x_i} \forall i = 1\dots, n
    \]
\end{proof}
\begin{bem}
    Die Umkehrung ist falsch, z.B. $f(x) = x^3,\; f\colon \R \to \R$, hat in $x=0$ $\nabla f(x) = 0$, aber $x = 0$ ist kein Max/Min von $f(x) = x^3$.\\
    $f\colon \R^2 \to \R,\; f(x_1, x_2) = x_1x_2$ hat in $x = \begin{pmatrix}
        0\\0
    \end{pmatrix} \nabla f(x) = 0$, aber $x = 0$ ist kein Max/Min von $f$.
\end{bem}
\begin{satz}[Hinreichende Bedingung für lokales Extremum]\ 
    Sei $D\subset \R^n$ offen, $f\in C^2(D,\R)$ und $x\in D$ mit $\nabla f(x) = 0$. Dann gilt:
    \begin{enumerate}
        \item $H_f(x)$ positiv definit $\implies x$ striktes lokales Minimum von $f$.
        \item $H_f(x)$ negativ definit $\implies x$ striktes lokales Maximum von $f$.
        \item $H_f(x)$ indefinit $\implies x$ kein lokales Extremum.
    \end{enumerate}
\end{satz}
\begin{proof}
    Nach Taylor gilt lokal um $x$:
    \[f(x+h) = f(x) + (\nabla f(x), h)_2 + \frac{1}{2}(H_f(x)h, h)_2 + \omega_2(x,h)\] mit $\frac{\omega_2(x,h)}{\norm{h}^2} \oldstackrel{h \to 0}{\to} 0$
    \begin{enumerate}
        \item Sei $H_f(x)$ positiv definit. Betrachte $\min_{\norm{h}=1} (H_f(x)h, h)_2$. Die Menge $\{h\in \R^n\mid\norm{h} = 1\}$ ist kompakt $\implies (H_f(x)h, h)_2$. nimmt ihr Minimum auf $\{h\in \R^n\mid \norm{h} =1\}$ als stetige Funktion an. $\implies \alpha \coloneqq \min_{\norm{h} = 1} (H_f(x)h, h)_2 > 0$, da $H_f(x)$ positiv definit ist. Sei $h\in \R^n\setminus\{0\}$ beliebig. Dann gilt
        \[(H_f(x)h, h)_2 = \norm{h}^2 \underbrace{(H_f(x)\cdot \frac{h}{\norm h}, \frac{h}{\norm h})_2}_{\geq \alpha}\geq \alpha \norm h^2 > 0\]
        Wähle $\delta > 0$ klein, sodass $\forall \norm h < \delta$ gilt $|\omega_2(x,h)| \leq \frac{\alpha}{4}\norm h^2$ (weil $\omega_2(x,h) = o(\norm h^2)$). Damit gilt $\forall h, \norm h < \delta$
        \[f(x+h) = f(x) + (\underbrace{\nabla f(x)}_{=0}, h)_2 + \frac{1}{2}(H_f(x)h, h)_2 + \omega_2(x,h) \geq f(x) + \frac{\alpha}{2}\norm h^2 - \frac{\alpha}{4}\norm h^2 > f(x)\]
        $\implies x$ striktes lokales Minimum von $f$.
        \item Ersetze $f$ durch $-f$, dann 1)
        \item $\exists h \in \R^n$ mit $(H_f(x)h, h)_2 = \alpha > 0$, sodass
        \[
          f(x + th) \oldstackrel{\text{Taylor}}{=} f(x) + \frac{1}{2}t^2\cdot \alpha + \omega_2 (x , th) = f(x) + t^2\left(\frac{\alpha}{2}+ \underbrace{\frac{\omega_2(x,th)}{t^2}}_{\oldstackrel{t\to 0}{\to}0}\right) \oldstackrel{\text{für } 0 < t << 1}{>} f(x)
        \]
        Außerdem $\exists \eta \in \R^n$ mit $(H_f(x)\eta, \eta)_2 = \beta < 0$. Analog $\implies f(x + t\eta) \leq f(x) + \beta\frac{t^2}{4}< f(x)$ für $0 < t << 1$. $\implies f(x)$ kein Maximum/Minimum.
    \end{enumerate}
\end{proof}
\begin{bsp}
    \begin{enumerate}
        \item $f(x,y) \coloneqq x^2 + 2y^2 \implies \nabla f(x,y) = \begin{pmatrix}
            2x\\4y
        \end{pmatrix} = 0$ für $\begin{pmatrix}
            x\\y
        \end{pmatrix} = \begin{pmatrix}
            0\\0
        \end{pmatrix}$.
        $H_f(x,y) = \begin{pmatrix}
            2 & 0\\ 0 & 4
        \end{pmatrix}$ positiv definit. $\implies \begin{pmatrix}
            x\\y
        \end{pmatrix} = 0$ striktes lokales Minimum (sogar global).
        \begin{tabular}{cll}
            $f(x)\leq f(y)$ &$\forall y\in D$ & globales Minimum\\
            $f(x) < f(y)$ &$\forall y\in D\setminus\{x\}$ &striktes globales Minimum
        \end{tabular}
        \item $f_1(x,y) \coloneqq x^2 + y^4,\; f_2(x,y) \coloneqq x^2,\; f_2(x,y)\coloneqq x^2 + y^3$
        Es gilt
        \[
            \nabla f_i(0) = 0\in \R^2,\; H_{f_i}(0) = \begin{pmatrix}
                2 & 0\\
                0 & 0
            \end{pmatrix}
            \forall i =1,2,3
        \]
        Die Hesse-Matrix ist positiv semidefinit. Es gilt

        \begin{tabular}{lcl}
            für $f_1$:& Punkt 0 ist ein& \underline{striktes} lokales Maximum,\\
            ür $f_2$:& Punkt 0 ist ein& \underline{lokales Minimum}, aber \underline{nicht strikt},\\
            für $f_3$:& Punkt 0 ist ein& Sattelpunkt.
        \end{tabular}
    \end{enumerate}
    \begin{figure}
    \begin{tikzpicture}[scale=0.8]
    \begin{axis}
    [
    domain=-1:1,
    samples=20,
    grid = major
    ]
    \addplot3 [surf] {x^2 + 2*y^2};
    \end{axis}
    \end{tikzpicture}
    \begin{tikzpicture}[scale=0.8]
    \begin{axis}
    [
    domain=-1:1,
    samples=20,
    grid = major
    ]
    \addplot3 [surf] {x^2 - y^2};
    \end{axis}
    \end{tikzpicture}
    \caption{Links: $f(x,y) = x^2 +2y^2$ ist ein Paraboloid, Rechts: $f(x,y) = x^2-y^2$ ist eine Sattelfläche}
    \end{figure}
\end{bsp}
\section{Implizite Funktionen und Umkehrabbildung.}
Frage: \underline{Umkehrabbildung:} Auflösen von $x = g(y)$, d.h.
\begin{equation}
    \left\{\begin{array}{rl}
        x_1&=g_1(y_1,\dots,y_n)\\
        \vdots&\\
        x_n&=g_n(y_1,\dots,y_n)\\
    \end{array}\right\} \Leftrightarrow
    \left\{\begin{array}{rl}
        0&=x_1-g_1(y_1,\dots,y_n)\\
        \vdots&\\
        0&=x_n-g_n(y_1,\dots,y_n)\\
    \end{array}\right\}\tag{*}\label{star}
\end{equation}
$n$ Gleichungen, $n$ Unbekannte $y_1,\dots, y_n$.
Gesucht: Abb $f$ mit $y = f(x)$ ($f=g^{-1})$, s.d. $(x,f(x))$ Gleichung \eqref{star} löst (lokal um $(x_0,y_0=f(x_0))$).

\paragraph{Implizite Funktion} $m$ Gleichungen, $m$ Unbekannte $y_1,\dots, y_m$.
\begin{equation}
    \left.\begin{array}{rl}
        0&=F_1(x_1,\dots,x_n,y_1,\dots,y_m)\\
        \vdots&\\
        0&=F_m(x_1,\dots, x_n,y_1,\dots,y_m)
    \end{array}\right\}\tag{**}\label{doublestar}
\end{equation}
$0 = F(x,y)$ Auflösen nach $y$, d.h.
Gesucht: Abbildung $f$, s.d. $y = f(x)$ mit $(x,f(x))$ löst \eqref{doublestar} (lokal um eine Lösung $(x_0,y_0):F(x_0,y_0) = 0$)
\begin{bsp}
    $m=1,\;n=1,\; F(x,y) = x^2 + y^2-1$

    \begin{minipage}[c]{0.35\textwidth}
        \begin{tikzpicture}[scale=0.8]
            \draw[->] (0,-1.5) -- node[right,pos=.9] {$(x_0,y_0)$} (0,1.5);
            \draw[->] (-1.5,0) -- node[below,pos=1.3] {$F(x,y) = 0$} (1.5,0);
            \draw (0,0) circle (1cm);
            \draw[fill] (0,1) circle (2pt);
            \draw[fill=red,draw=red] (0,0) circle (2pt);
            \node[color=red] at (.3,0) {)};
            \node[color=red] at (-.3,0) {(};
            \draw[fill=blue,draw=blue] (1,0) circle (2pt);
            \node[color=blue] at (1.3,0) {)};
            \node[color=blue] at (.7,0) {(};
        \end{tikzpicture}
    \end{minipage}%
    \begin{minipage}[c]{0.65\textwidth}
        An der Stelle $\mathunderline{red}{x_0 = 0,\; y_0 = 1}$ gilt  $F(0,1)=0$,\\ also
        $F(x,y) = 0 \Leftrightarrow y^2 = 1-x^2$.
        \[\implies \mathunderline{red}{f(x)\coloneqq \sqrt{1-x^2}}\text{ für } |x| < 1\] $\mathunderline{red}{\text{ erfüllt }F(x,f(x)) = 0},\; |x| < 1$.
    \end{minipage}

Für $\mathunderline{blue}{x_0 =1,\; y_0 = 0}$ hingegen gibt es keine Umgebung von $x_0 = 1$, sodass \[\mathunderline{blue}{\exists f\colon U(x_0) \to \R\text{ mit }F(x,f(x)) = 0}.\]
\end{bsp}
\begin{satz}[Satz über implizite Funktionen]
    Sei $D^x \subset \R^n$ offen, $D^y \subset \R^m$ offen, $F^1 \in C^1 (D^x\times D^y,\R^m)$ (stetig differenzierbar) und $(\hat{x}, \hat{y})\in D^x\times D^y$ mit $F(\hat x, \hat y) = 0$. Die $m\times m$ Matrix 
    \[
        D_yF(x,y) =\begin{pmatrix}
            \pdv{F_1}{y_1} &\dots &\pdv{F_1}{y_m}\\
            \vdots & & \vdots\\
            \pdv{F_m}{y_1}&\dots&\pdv{F_m}{y_m}
        \end{pmatrix}
    \]
    sei im Punkt $(\hat x, \hat y)$ invertierbar. Dann gilt:
    \begin{enumerate}
        \item $\exists$ offene Umgebungen $U(\hat x) \subset D^x,\; U(\hat y)\subset D^y$  um $\hat x$ und $\hat y$ und $\exists$ eine stetige Funktion $f\colon U(\hat x) \to U(\hat y)$, s.d.
        \[F(x,f(x)) = 0\quad\forall x\in U(\hat x)\]
        \item $f$ ist eindeutig bestimmt, d.h. $F(x,y) = 0$ für $(x,y) \in U(\hat x)\times U(\hat y)\Leftrightarrow y = f(x)$
        \item $f$ ist in $\hat x$ stetig differenzierbar und $J_f(\hat x) = D_xf(\hat x)\in \R^{m \times n}$ ist \[D_xf(\hat x) = -(D_yF(\hat x, \hat y))^{-1}D_xF(\hat x, \hat y).\]
    \end{enumerate}
\end{satz}
\begin{proof}
    \begin{enumerate}
        \item O.B.d.A. sei $(\hat x, \hat y) = (0,0)$ (sonst betrachte $F(x,y) - F(\hat x, \hat y)$). Die Matrix $J_y \coloneqq D_yF(0,0)$ ist regulär. Definiere $G\colon D^x\times D^y \to \R^m,\; G(x,y) \coloneqq y - J^{-1}_yF(x,y)$. $G$ ist stetig differenzierbar und erfüllt: $G(0,0) = 0$ und $F(x,y) = 0 \Leftrightarrow G(x,y) = y$. Jacobi-Matrix von $G(x,y)$ bzgl. $y$:
        \[D_yG(x,y) = \mathbb{I} - J_y^{-1} D_yF(x,y) \text{ und insb. } D_yG(0,0) = \mathbb{I} - J_y^{-1}J_y = 0.\]
        $F$ stetig differenzierbar $\implies D_yG(x,y)$ stetig $\implies \exists K_r^x(0) \times K_r^y(0) \subset D^x \times D^y$ mit Radius $r$, sodass $\norm{D_yG(x,y)}_2\leq \frac{1}{2},\; (x,y)\in K_r^x(0)\times K_r^y(0)$. $G(0,0) = 0\implies \exists K_s^x(0)\subset K_r^x(0)$ mit Radius $0< s\le r$ sodass 
        \[\norm{G(x,0)}_2 \le \frac{1}{2} r,\; x\in K_s^x(0)\]
        Ziel: Konstruiere $f\colon K_s^x(0)\to K_r^y(0)$ stetig mit $G(x,f(x)) = f(x)\; (\Leftrightarrow F(x,f(x)) = 0)$. Betrachte Fixpunktgleichung
        \[G(x,y) = y,\; x\in K_s^x(0).\]
        Für $(x,y_1),\; (x,y_2)\in K_s^x(0)\times K_r^y(0)$ gilt 
        \[\norm{G(x,y_1) - G(x,y_2)}_2 \oldstackrel{\text{MWS}}{\le} \sup_{(x,y)\in K_s^x(0)\times K_r^y(0)}\norm{D_yG(x,y)}_2 \cdot \norm{y_1-y_2}_2 \le \frac{1}{2}\norm{y_1-y_2}_2.\]
        Sei $y\in \overline{K_r^y(0)}$
        \[\norm{G(x,y)}_2 \le \norm{G(x,y)-G(x,0)}_2 + \norm{G(x,0)}_2 \le \frac{1}{2}\norm{y}_2 + \frac{1}{2}r\le r\]
        d.h. $G(x,\cdot)$ ist eine Selbstabbildung der abgeschlossenen Kugler $\overline{K_r^y(0)}$.
        
        Außerdem, $\norm{G(x,y_1) -G(x,y_2)}_2 \le \frac{1}{2}\norm{y_1-y_2}\implies G(x,\cdot)$ ist eine Kontraktion mit Lipschitz-Konstante $L=\frac{1}{2}$. Aus dem Banachschen Fixpunktsatz %add reference?
        folgt $\forall x \in K_s^x(0) \exists!$ ein Fixpunkt $y(x)\in K_r^y(0)$ von $G(x,\cdot)$:
        \[y(x) = \lim\limits_{k\to \infty} y^{(k)}(x),\; y^{(k)}(x)=G(x,y^{(k-1)}(x)),\; k\in \N\] mit Startpunkt $y^{(0)}(x)\coloneqq 0$.
        Es gilt die Fehlerabschätzung $\forall x \in K_s^x(0)$:
        \[\norm{y(x)-y^{(k)}(x)}_2 \le 2^{-k}\norm{y^{1}(x)-y^{(0)}(x)}_2 = 2^{-k}\norm{G(x,0)-0}_2 \le 2^{-k} \frac{1}{2}r\]
        Für $k\in \N$ gilt \[y^{(k)}(x) = G(x,y^{(k-1)}(x)) = y^{(k-1)}(x)-J_y^{-1}\underbrace{F(x,y^{(k-1)}(x))}_{\text{stetig}}\]
        Induktiv folgt $y^{(k)}(x)$ stetig in $x\in K_2^x(0)$. Definiere $f(x)=y(x),\; f\colon K_s^x(0) \to K_r^y(0)$ und nach Konstruktion gilt
        \[G(x,f(x)) = f(x),\quad x\in K_s^x(0).\]
        Aus der Abschätzung $\norm{y(x)-y^{(k)}(x)}\leq 2^{-k-1}\cdot r,\; x\in K_s^x(0)$ folgt, dass  $y^{(k)}(x)\oldstackrel{k\to \infty}{\to y(x)}$ gleichmäßig auf $K_s^x(0)$ konvergiert $\implies y(x)$ stetig.
        $\implies$ 1. Behauptung für $(\hat x, \hat y) = (0,0)$ mit $U(\hat x)\coloneqq K_s^x(0)$ und $U(\hat y)\coloneqq K_r^y(0)$.
        \item Die Eindeutigkeit von $y = f(x)$ folgt nun aus dem Banachschen Fixpunktsatz. Für $x\in K_s(\hat x)$ ist der Fixpunkt der Gleichung $G(x,y) = y$ eindeutig bestimmt.
    \end{enumerate}
\end{proof}
\end{document}