\documentclass{lecture} \begin{document} \subsection{Lineare und nichtlineare Gleichungssysteme} Motivation: Es sei ein quadratisches Gleichungssystem der Form \begin{alignat*}{2} &f_1(x_1, \ldots, x_n) &=\;& b_1 \\ &\; \vdots &&\vdots \\ &f_n(x_1, \ldots, x_n) &=\;& b_n ,\end{alignat*} eine Vektorform $f(x) = b$ und ein $b \in \mathbb{K}^{n}$ gegeben, s.d. \[ f= \begin{pmatrix} f_1 \\ \vdots \\ f_n \end{pmatrix} \colon D \subseteq \mathbb{K}^{n} \to \mathbb{K}^{n} .\] Ziel: $x = f^{-1}(b)$ finden als Grenzwert einer Folge $\left( x^{(k)} \right)_{k \in \N}$. Ansatz: Definiere $g(x) \coloneqq x - \sigma (f(x) - b)$ für ein $\sigma \in \mathbb{K} \setminus \{0\} $ und suche \underline{Fixpunkt} von $g\colon D \to \mathbb{K}^{n}$ $(x = g(x))$. Fixpunktiteration: Startwert $x^{(0)}$. Iterationsschritt \[ x^{(k)} = g(x^{(k-1)}), \quad k \in \N .\] Falls $f$ stetig, dann ist auch $g$ stetig. Damit folgt, falls $x^{(k)} \xrightarrow{k \to \infty} x$, dann $g\left( x^{(k-1}) \right) \xrightarrow{k \to \infty} g(x)$. Damit folgt \[ \underbrace{x^{(k)}}_{\xrightarrow{k \to \infty} x} = \underbrace{g\left( x^{(k-1}) \right)}_{\xrightarrow{k \to \infty} g(x)} .\] Für $k \to \infty$, folgt also $x = g(x)$, also ist $x$ Fixpunkt. Damit folgt $x = g(x) = x - \sigma (f(x) - b) \implies f(x) = b$. Frage: Unter welchen Bedingungen konvergiert die Fixpunktiteration? \begin{definition}[Lipschitz-Stetigkeit] Eine Funktion $g\colon D \subseteq \mathbb{K}^{n} \to \mathbb{K}^{n}$ heißt\\ \underline{Lipschitz-stetig}, wenn eine Konstante $L < \infty$ existiert, s.d. \[ \Vert g(x) - g(y) \Vert \le L \Vert x - y \Vert, \qquad \forall x, y \in D .\] Falls $L < 1$ heißt $g$ Kontraktion (bezügl. Norm $\Vert \cdot \Vert$). \end{definition} \begin{satz}[Banachscher Fixpunktsatz] \label{satz:banach-fix} Sei $g\colon D \subseteq \mathbb{K}^{n} \to \mathbb{K}^{n}$ eine Funktion mit den Eigenschaften \begin{enumerate}[1)] \item $g(M) = M$ für ein $M \subseteq D$, $M$ abgeschlossen \item $g$ ist Kontraktion auf $M$, d.h. $\exists L < 1$, s.d. $\Vert g(x) - g(y) \Vert \le L \Vert x - y \Vert$, $\forall x, y \in M$. \end{enumerate} Dann gilt \begin{enumerate}[(i)] \item Es existiert genau ein Fixpunkt $x^{*} \in M$ von $g$. \item $\forall x^{(0)} \in M$ ist die Iterationsfolge $x^{(k)} = g\left( x^{(k-1)} \right)$ wohldefiniert $(x^{(k)} \in M)$ und $x^{(k)} \xrightarrow{k \to \infty} x^{*}$. \item Es gilt die Abschätzung: \[ \Vert x^{(k)} - x^{*} \Vert \le \frac{L^{k}}{1 - L} \Vert x^{(1)} - x^{(0)} \Vert .\] \end{enumerate} \end{satz} \begin{proof} \begin{enumerate}[(i)] \item Seien $x, x' \in M$ zwei Fixpunkte. Dann \begin{align*} \Vert x - x' \Vert = \Vert g(x) - g(x') \Vert \le L \Vert x - x'\Vert .\end{align*} Damit folgt \begin{align*} \underbrace{(1 - L)}_{> 0} \underbrace{\Vert x - x' \Vert}_{\ge 0} \le 0 \implies \Vert x - x'\Vert = 0 \implies x = x' .\end{align*} \item $g(M) = M \implies x^{(k)} = g\left( x^{(k-1)} \right)$, $k \in \N$ ist wohldefiniert, d.h. $x^{(k)} \in M$, $\forall k \in \N$, falls $x^{(0)} \in M$. Z.z.: $x^{(k)}$ konvergiert mit $\displaystyle \lim_{k \to \infty} x^{(k)} \in M$, also g.z.z.: $\left( x^{(k)} \right)_{k \in \N}$ ist Cauchy-Folge. \begin{leftright} \begin{salign*} \Vert x^{(k+1)} - x^{(k)} \Vert &= \left\Vert g(x^{(k)}) - g(x^{(k-1)}) \right\Vert \\ &\le L \Vert x^{(k)} - x^{(k-1)} \Vert \\ &= L \left\Vert g(x^{(k-1)}) - g(x^{(k-2)}) \right\Vert \\ &\le L \cdot L \cdot \Vert x^{(k-1)} - x^{(k-2)} \Vert\\ &\le \underbrace{L \cdot \ldots \cdot L}_{k} \Vert x^{(1)} - x^{(0)} \Vert \\ &= L^{k} \Vert x^{(1)} - x^{(0)} \Vert \intertext{Seien $k, m$ beliebig. Dann gilt $\forall \epsilon > 0$} \Vert x^{(k+m)} - x^{(k)} \Vert &= \Vert x^{(k+m)} - x^{(k+m-1)} + x^{(k+m-1)} - \ldots x^{(k+1)} - x^{(k)} \Vert \\ &\le \Vert x^{(k+m)} - x^{(k+m-1)} \Vert + \ldots + \Vert x^{(k+1)} - x^{(k)} \Vert \\ &= L^{m-1} \Vert x^{(k+1)} - x^{(k)} \Vert + L^{m-2} \Vert x^{k+1} - x^{k} \Vert + \ldots + \Vert x^{(k+1)} - x^{(k)} \Vert \\ &= (L^{m-1} + L^{m-2} + \ldots + 1) \Vert x^{(k+1)} - x^{(k)} \Vert \\ &= \frac{1 - L^{m}}{1 - L} \Vert x^{(k+1)} - x^{(k)} \Vert \\ &\le \frac{1 - L^{m}}{1 - L} L^{k} \Vert x^{(1)} - x^{(0)} \Vert \\ &\le \frac{L^{k}}{1-L} \Vert x^{(1)} - x^{(0)} \Vert \\ &\stackrel{L < 1}{<}\epsilon \qquad \text{ für } k \text{ groß genug} .\end{salign*} \end{leftright} Also ist $\left( x^{(k)} \right)_{k \in \N}$ eine Cauchy-Folge in $M$ und es existiert ein $x^{*} \in M$, s.d. $\left( x^{(k)} \right)_{k \in \N}$ gegen $x^{*}$ konvergiert. $x^{*}$ ist ein Fixpunkt von $g$, weil \[ x^{*} = \lim_{k \to \infty} x^{(k)} = \lim_{k \to \infty} g\left( x^{(k-1)} \right) \qquad \stackrel{g \text{ stetig}}{=} \qquad g\left( \lim_{k \to \infty} x^{(k-1)} \right) = g(x^{*}) .\] \item Für festes $k \in \N$ gilt \begin{align*} \Vert \underbrace{x^{(k+m)}}_{\xrightarrow{m \to \infty} x^{*}} - x^{(k)} \Vert \le \frac{L^{k}}{1-L} \Vert x^{(1)} - x^{(0)} \Vert \implies \Vert x^{*} - x^{(k)} \Vert \le \frac{L^{k}}{1 -L} \Vert x^{(1)} - x^{(0)} \Vert .\end{align*} \end{enumerate} \end{proof} \begin{bem} Für den Beweis ist wichtig, dass der grundlegende Raum vollständig ist, d.h. dass alle Cauchy-Folgen in diesem Raum konvergieren. \end{bem} \begin{bem}[Anwendung: Lineare Gleichungssysteme] $A = \left( a_{ij} \right)_{i,j = 1}^{n} \in \mathbb{K}^{n \times n}$ regulär und $b = (b_i)_{i = 1}^{n} \in \mathbb{K}^{n}$. Da $A$ regulär, hat das LGS $Ax = b$ genau eine Lösung $x^{*} = A^{-1}b$. Sei $g(x) \coloneqq x - \sigma (Ax - b)$ mit $\sigma \in \mathbb{K} \setminus \{0\} $. Fixpunktiteration $x^{(k)} = x^{(k-1)} - \sigma (Ax^{(k-1)} - b)$, $k \in \N$ konvergiert, wenn $g$ kontraktiv ist. Zum Beispiel in $\ell_2$: \begin{align*} \Vert g(x) - g(y) \Vert_2 &= \Vert x - \sigma(Ax - b) - y + \sigma(Ay -b)\Vert_2 \\ &= \Vert x - y - \sigma A(x-y) \Vert_2 \\ &= \Vert (\mathbb{I} - \sigma A)(x-y) \Vert_2 \\ &\le \Vert \mathbb{I} - \sigma A \Vert_2 \Vert x - y \Vert_2 ,\end{align*} d.h. $g$ kontraktiv, falls $\vert \mathbb{I} - \sigma A \Vert_2 < 1$. Frage: Wahl von $\sigma$? Wähle $\sigma = \Vert A \Vert_{\infty}^{-1} = \frac{1}{\Vert A \Vert_{\infty}}$, falls $A$ hermitesch und positiv definit (= ,,Richardson Iteration``). Zu überprüfen $\left\Vert \mathbb{I} - \frac{A}{\Vert A \Vert_{\infty}} \right\Vert_2 < 1$. Da $A$ positiv definit und hermitesch, sind alle Eigenwerte $\lambda > 0$. Es gilt $\forall $ EW: $0 < \lambda \le \Vert A \Vert_{\infty}$. Für EW von $\mathbb{I} - \frac{A}{\Vert A\Vert_{\infty}} $ gilt $\mu = 1 - \frac{\lambda}{\Vert A \Vert_{\infty}}$, $\lambda$ Eigenwert von $A$. Also $0 \le \underbrace{1 - \frac{\lambda}{\Vert A \Vert_{\infty}}}_{= \mu} < 1$, mit \ref{lemma:spektralnorm} folgt $\Big\Vert \underbrace{\mathbb{I} - \frac{A}{\Vert A \Vert_{\infty}}}_{\text{hermitesch}} \Big\Vert_2 < 1$. Falls $A$ hermitesch und positiv definit, ist also die Richardson Iteration konvergent. \end{bem} \begin{definition}[Starke Monotonie] Eine Funktion $f\colon D \subseteq \R^{n} \to \R^{n}$ heißt stark monoton, wenn eine Konstante $m > 0$ existiert, s.d. $\forall x, y \in D$ gilt \[ (f(x) - f(y), x-y)_2 \ge m \Vert x - y \Vert_2^2 .\] \end{definition} \begin{bem}[Anwendung: Nichtlineare Gleichungssysteme] Sei $f\colon D \subseteq \R^{n} \to \R^{n}$ Lipschitz stetig mit $L$ und stark monoton mit $m > 0$. Betrachte $f(x) = b$, $g(x) \coloneqq x - \theta (f(x) - b)$. Frage: Wahl von $\theta$, s.d. $\forall x ^{(0)} \in D$ die Fixpunktiteration konvergiert? Es ist \begin{align*} \Vert g(x) - g(y) \Vert_2^2 &= \Vert x - \theta (f(x) - b) - y + \theta (f(y) - b) \Vert_2^2 \\ &= \Vert x - y - \theta (f(x) - f(y)\Vert_2^2 \\ &= \Vert x - y \Vert_2^2 - 2 \theta (x-y, f(x) - f(y))_2 + \theta^2 \Vert f(x) - f(y) \Vert_2^2 \\ &\le \Vert x - y \Vert_2^2 - 2 \theta m \Vert x - y \Vert_2^2 + \theta^2 L^2 \Vert x- y \Vert_2^2 \\ &= (1 - 2\theta m + \theta^2 L^2) \Vert x - y \Vert_2^2 .\end{align*} Die Fixpunktiteration konvergiert, falls $1 - 2 \theta m + \theta^2L^2 < 1$, d.h. für $\theta \in \left( 0, \frac{2m}{L^2} \right) $. Dann existiert ein $\displaystyle x^{*} = \lim_{k \to \infty} x^{(k)}$ mit $g(x^{*}) = x^{*}$. Ist $x^{*}$ eindeutig? Seien $x, x'$ zwei Lösungen. Dann ist \begin{salign*} 0 &= (\underbrace{f(x) - b + b -f(x')}_{= 0}, x - x')_2 \\ &= (f(x) - f(x'), x-x')_2 \\ &\stackrel{f\text{ stark monoton}}{\ge} m \Vert x - x' \Vert_2^2 \\ &\ge 0 .\end{salign*} Also $x = x'$, damit ist $x^{*}$ eindeutig. \end{bem} \end{document}