ana-lecture/ana10.tex

\documentclass{lecture}

\begin{document}

\subsection{Lineare und nichtlineare Gleichungssysteme}

Motivation: Es sei ein quadratisches Gleichungssystem der Form
\begin{alignat*}{2}
    &f_1(x_1, \ldots, x_n) &=\;& b_1 \\
    &\; \vdots &&\vdots \\
    &f_n(x_1, \ldots, x_n) &=\;& b_n
,\end{alignat*}
eine Vektorform $f(x) = b$ und ein $b \in \mathbb{K}^{n}$ gegeben, s.d.
\[
    f= \begin{pmatrix} f_1 \\ \vdots \\ f_n  \end{pmatrix} \colon D \subseteq \mathbb{K}^{n} \to \mathbb{K}^{n}
.\] 
Ziel: $x = f^{-1}(b)$ finden als Grenzwert einer Folge $\left( x^{(k)} \right)_{k \in \N}$.

Ansatz: Definiere $g(x) \coloneqq x - \sigma (f(x) - b)$ für ein $\sigma \in \mathbb{K} \setminus \{0\} $
und suche \underline{Fixpunkt} von $g\colon D \to \mathbb{K}^{n}$ $(x = g(x))$.

Fixpunktiteration: Startwert $x^{(0)}$. Iterationsschritt
\[
    x^{(k)} = g(x^{(k-1)}), \quad k \in \N
.\] 
Falls $f$ stetig, dann ist auch $g$ stetig. Damit folgt, falls $x^{(k)} \xrightarrow{k \to \infty} x$, dann
$g\left( x^{(k-1}) \right) \xrightarrow{k \to \infty} g(x)$. Damit folgt
\[
    \underbrace{x^{(k)}}_{\xrightarrow{k \to \infty} x}
    = \underbrace{g\left( x^{(k-1}) \right)}_{\xrightarrow{k \to \infty} g(x)}
.\] Für $k \to \infty$, folgt also $x = g(x)$, also ist $x$ Fixpunkt. Damit folgt
$x = g(x) = x - \sigma (f(x) - b) \implies f(x) = b$.

Frage: Unter welchen Bedingungen konvergiert die Fixpunktiteration?

\begin{definition}[Lipschitz-Stetigkeit]
    Eine Funktion $g\colon D \subseteq \mathbb{K}^{n} \to \mathbb{K}^{n}$ heißt\\
    \underline{Lipschitz-stetig}, wenn eine Konstante $L < \infty$ existiert, s.d.
    \[
        \Vert g(x) - g(y) \Vert \le L \Vert x - y \Vert, \qquad \forall x, y \in D
    .\] Falls $L < 1$ heißt $g$ Kontraktion (bezügl. Norm $\Vert \cdot \Vert$).
\end{definition}

\begin{satz}[Banachscher Fixpunktsatz]
    Sei $g\colon D \subseteq \mathbb{K}^{n} \to \mathbb{K}^{n}$ eine Funktion mit den Eigenschaften
    \begin{enumerate}[1)]
        \item $g(M) = M$ für ein $M \subseteq D$, $M$ abgeschlossen
        \item $g$ ist Kontraktion auf $M$, d.h. $\exists L < 1$, s.d.
            $\Vert g(x) - g(y) \Vert \le L \Vert x - y \Vert$, $\forall x, y \in M$.
    \end{enumerate}
    Dann gilt
    \begin{enumerate}[(i)]
        \item Es existiert genau ein Fixpunkt $x^{*} \in M$ von $g$.
        \item $\forall x^{(0)} \in M$ ist die Iterationsfolge $x^{(k)} = g\left( x^{(k-1)} \right)$ wohldefiniert
            $(x^{(k)} \in M)$ und $x^{(k)} \xrightarrow{k \to \infty} x^{*}$.
        \item Es gilt die Abschätzung:
            \[
                \Vert x^{(k)} - x^{*}  \Vert \le \frac{L^{k}}{1 - L} \Vert x^{(1)} - x^{(0)} \Vert
            .\] 
    \end{enumerate}
\end{satz}

\begin{proof}
    \begin{enumerate}[(i)]
        \item Seien $x, x' \in M$ zwei Fixpunkte. Dann
            \begin{align*}
                \Vert x - x' \Vert = \Vert g(x) - g(x') \Vert \le L \Vert x - x'\Vert
            .\end{align*}
            Damit folgt
            \begin{align*}
                \underbrace{(1 - L)}_{> 0} \underbrace{\Vert x - x' \Vert}_{\ge 0} \le 0
                \implies \Vert x - x'\Vert = 0 \implies x = x'
            .\end{align*}
        \item $g(M) = M \implies x^{(k)} = g\left( x^{(k-1)} \right)$, $k \in \N$ ist wohldefiniert,
            d.h. $x^{(k)} \in M$, $\forall k \in \N$, falls $x^{(0)} \in M$.

            Z.z.: $x^{(k)}$ konvergiert mit $\displaystyle \lim_{k \to \infty} x^{(k)} \in M$, also
            g.z.z.: $\left( x^{(k)} \right)_{k \in \N}$ ist Cauchy-Folge.
            \begin{leftright}
            \begin{salign*}
                \Vert x^{(k+1)} - x^{(k)} \Vert &= \left\Vert g(x^{(k)}) - g(x^{(k-1)}) \right\Vert \\
                                                &\le L \Vert x^{(k)} - x^{(k-1)} \Vert \\
                                                &= L \left\Vert g(x^{(k-1)}) - g(x^{(k-2)}) \right\Vert \\
                                                &\le L \cdot L \cdot \Vert x^{(k-1)} - x^{(k-2)} \Vert\\
                                                &\le \underbrace{L \cdot \ldots \cdot L}_{k}
                                                \Vert x^{(1)} - x^{(0)} \Vert \\
                                                &= L^{k} \Vert x^{(1)} - x^{(0)} \Vert
                                                \intertext{Seien $k, m$ beliebig. Dann gilt
                                                $\forall \epsilon > 0$}
                \Vert x^{(k+m)} - x^{(k)} \Vert &= \Vert x^{(k+m)} - x^{(k+m-1)} + x^{(k+m-1)} - \ldots x^{(k+1)} - x^{(k)} \Vert \\
                                                &\le \Vert x^{(k+m)} - x^{(k+m-1)} \Vert
                                                + \ldots + \Vert x^{(k+1)} - x^{(k)} \Vert \\
                                                &= L^{m-1} \Vert x^{(k+1)} - x^{(k)} \Vert
                                                + L^{m-2} \Vert x^{k+1} - x^{k} \Vert
                                                + \ldots + \Vert x^{(k+1)} - x^{(k)} \Vert \\
                                                &= (L^{m-1} + L^{m-2} + \ldots + 1) \Vert x^{(k+1)} - x^{(k)} \Vert \\
                                                &= \frac{1 - L^{m}}{1 - L} \Vert x^{(k+1)} - x^{(k)} \Vert \\
                                                &\le \frac{1 - L^{m}}{1 - L} L^{k} \Vert x^{(1)} - x^{(0)} \Vert \\
                                                &\le \frac{L^{k}}{1-L} \Vert x^{(1)} - x^{(0)} \Vert \\
                                                &\stackrel{L < 1}{<}\epsilon \qquad \text{ für } k \text{ groß genug}
            .\end{salign*}
            \end{leftright}
            Also ist $\left( x^{(k)} \right)_{k \in \N}$ eine Cauchy-Folge in $M$ und es existiert
            ein $x^{*} \in M$, s.d. $\left( x^{(k)} \right)_{k \in \N}$ gegen
            $x^{*}$ konvergiert. $x^{*}$ ist ein Fixpunkt von $g$, weil
            \[
                x^{*} = \lim_{k \to \infty} x^{(k)} = \lim_{k \to \infty} g\left( x^{(k-1)} \right)
                \qquad \stackrel{g \text{ stetig}}{=} \qquad
                g\left( \lim_{k \to \infty} x^{(k-1)} \right) = g(x^{*})
            .\] 
        \item Für festes $k \in \N$ gilt
            \begin{align*}
                \Vert \underbrace{x^{(k+m)}}_{\xrightarrow{m \to \infty} x^{*}} - x^{(k)} \Vert \le \frac{L^{k}}{1-L} \Vert x^{(1)} - x^{(0)} \Vert \implies \Vert x^{*} - x^{(k)} \Vert \le \frac{L^{k}}{1 -L}
                \Vert x^{(1)} - x^{(0)} \Vert
            .\end{align*}
    \end{enumerate}
\end{proof}

\begin{bem}
    Für den Beweis ist wichtig, dass der grundlegende Raum vollständig ist, d.h. dass alle
    Cauchy-Folgen in diesem Raum konvergieren.
\end{bem}

\begin{bem}[Anwendung: Lineare Gleichungssysteme]
    $A = \left( a_{ij} \right)_{i,j = 1}^{n} \in \mathbb{K}^{n \times n}$ regulär und $b = (b_i)_{i = 1}^{n} \in \mathbb{K}^{n}$. Da $A$ regulär, hat das LGS $Ax = b$ genau
    eine Lösung $x^{*} = A^{-1}b$. Sei $g(x) \coloneqq x - \sigma (Ax - b)$ mit
    $\sigma \in \mathbb{K} \setminus \{0\} $.

    Fixpunktiteration $x^{(k)} = x^{(k-1)} - \sigma (Ax^{(k-1}) - b)$, $k \in \N$ konvergiert, wenn
    $g$ kontraktiv ist. Zum Beispiel in $\ell_2$:
    \begin{align*}
        \Vert g(x) - g(y) \Vert_2 &= \Vert x - \sigma(Ax - b) - y + \sigma(Ay -b)\Vert_2 \\
                                  &= \Vert x - y - \sigma A(x-y) \Vert_2 \\
                                  &= \Vert (\mathbb{I} - \sigma A)(x-y) \Vert_2 \\
                                  &\le \Vert \mathbb{I} - \sigma A \Vert_2 \Vert x - y \Vert_2
    ,\end{align*} d.h. $g$ kontraktiv, falls $\vert \mathbb{I} - \sigma A \Vert_2 < 1$.

    Frage: Wahl von $\sigma$? Wähle $\sigma = \Vert A \Vert_{\infty}^{-1} = \frac{1}{\Vert A \Vert_{\infty}}$, falls $A$ hermitesch und positiv definit (= ,,Richardson Iteration``). Zu überprüfen
    $\left\Vert \mathbb{I} - \frac{A}{\Vert A \Vert_{\infty}} \right\Vert_2 < 1$.
    Da $A$ positiv definit und hermitesch, sind alle Eigenwerte $\lambda > 0$. Es gilt
    $\forall $ EW: $0 < \lambda \le \Vert A \Vert_{\infty}$. Für EW von $\mathbb{I} - \frac{A}{\Vert A\Vert_{\infty}} $ gilt $\mu = 1 - \frac{\lambda}{\Vert A \Vert_{\infty}}$, $\lambda$ Eigenwert von $A$. Also
    $0 \le \underbrace{1 - \frac{\lambda}{\Vert A \Vert_{\infty}}}_{= \mu} < 1$, mit \ref{lemma:spektralnorm} folgt
    $\Big\Vert \underbrace{\mathbb{I} - \frac{A}{\Vert A \Vert_{\infty}}}_{\text{hermitesch}} \Big\Vert_2 < 1$. Falls $A$ hermitesch und positiv definit, ist also
    die Richardson Iteration konvergent.
\end{bem}

\begin{definition}[Starke Monotonie]
    Eine Funktion $f\colon D \subseteq \R^{n} \to \R^{n}$ heißt stark monoton, wenn
    eine Konstante $m > 0$ existiert, s.d. $\forall x, y \in D$ gilt
    \[
        (f(x) - f(y), x-y)_2 \ge m \Vert x - y \Vert_2^2
    .\] 
\end{definition}

\begin{bem}[Anwendung: Nichtlineare Gleichungssysteme]
    Sei $f\colon D \subseteq \R^{n} \to \R^{n}$ Lipschitz stetig mit $L$ und stark monoton mit $m > 0$.
    Betrachte $f(x) = b$, $g(x) \coloneqq x - \theta (f(x) - b)$.

    Frage: Wahl von $\theta$, s.d. $\forall x ^{(0)} \in D$ die Fixpunktiteration konvergiert?
    Es ist
    \begin{align*}
        \Vert g(x) - g(y) \Vert_2^2 &= \Vert x - \theta (f(x) - b) - y + \theta (f(y) - b) \Vert_2^2 \\
                                    &= \Vert x - y - \theta (f(x) - f(y)\Vert_2^2 \\
                                    &= \Vert x - y \Vert_2^2 - 2 \theta (x-y, f(x) - f(y))_2
                                    + \theta^2 \Vert f(x) - f(y) \Vert_2^2 \\
                                    &\le \Vert x - y \Vert_2^2 - 2 \theta m \Vert x - y \Vert_2^2
                                    + \theta^2 L^2 \Vert x- y \Vert_2^2 \\
                                    &= (1 - 2\theta m + \theta^2 L^2) \Vert x - y \Vert_2^2
    .\end{align*}
    Die Fixpunktiteration konvergiert, falls $1 - 2 \theta m + \theta^2L^2 < 1$, d.h.
    für $\theta \in \left( 0, \frac{2m}{L^2} \right) $. Dann existiert
    ein $\displaystyle x^{*} = \lim_{k \to \infty} x^{(k)}$ mit $g(x^{*}) = x^{*}$. Ist
    $x^{*}$ eindeutig? Seien $x, x'$ zwei Lösungen. Dann ist
    \begin{salign*}
        0 &= (\underbrace{f(x) - b + b -f(x')}_{= 0}, x - x')_2 \\
        &= (f(x) - f(x'), x-x')_2 \\
        &\stackrel{f\text{ stark monoton}}{\ge} m \Vert x - x' \Vert_2^2 \\
        &\ge 0
    .\end{salign*}
    Also $x = x'$, damit ist $x^{*}$ eindeutig.
\end{bem}

\end{document}