185 lines
10 KiB
TeX
185 lines
10 KiB
TeX
\documentclass{lecture}
|
|
|
|
\begin{document}
|
|
|
|
\subsection{Lineare und nichtlineare Gleichungssysteme}
|
|
|
|
Motivation: Es sei ein quadratisches Gleichungssystem der Form
|
|
\begin{alignat*}{2}
|
|
&f_1(x_1, \ldots, x_n) &=\;& b_1 \\
|
|
&\; \vdots &&\vdots \\
|
|
&f_n(x_1, \ldots, x_n) &=\;& b_n
|
|
,\end{alignat*}
|
|
eine Vektorform $f(x) = b$ und ein $b \in \mathbb{K}^{n}$ gegeben, s.d.
|
|
\[
|
|
f= \begin{pmatrix} f_1 \\ \vdots \\ f_n \end{pmatrix} \colon D \subseteq \mathbb{K}^{n} \to \mathbb{K}^{n}
|
|
.\]
|
|
Ziel: $x = f^{-1}(b)$ finden als Grenzwert einer Folge $\left( x^{(k)} \right)_{k \in \N}$.
|
|
|
|
Ansatz: Definiere $g(x) \coloneqq x - \sigma (f(x) - b)$ für ein $\sigma \in \mathbb{K} \setminus \{0\} $
|
|
und suche \underline{Fixpunkt} von $g\colon D \to \mathbb{K}^{n}$ $(x = g(x))$.
|
|
|
|
Fixpunktiteration: Startwert $x^{(0)}$. Iterationsschritt
|
|
\[
|
|
x^{(k)} = g(x^{(k-1)}), \quad k \in \N
|
|
.\]
|
|
Falls $f$ stetig, dann ist auch $g$ stetig. Damit folgt, falls $x^{(k)} \xrightarrow{k \to \infty} x$, dann
|
|
$g\left( x^{(k-1}) \right) \xrightarrow{k \to \infty} g(x)$. Damit folgt
|
|
\[
|
|
\underbrace{x^{(k)}}_{\xrightarrow{k \to \infty} x}
|
|
= \underbrace{g\left( x^{(k-1}) \right)}_{\xrightarrow{k \to \infty} g(x)}
|
|
.\] Für $k \to \infty$, folgt also $x = g(x)$, also ist $x$ Fixpunkt. Damit folgt
|
|
$x = g(x) = x - \sigma (f(x) - b) \implies f(x) = b$.
|
|
|
|
Frage: Unter welchen Bedingungen konvergiert die Fixpunktiteration?
|
|
|
|
\begin{definition}[Lipschitz-Stetigkeit]
|
|
Eine Funktion $g\colon D \subseteq \mathbb{K}^{n} \to \mathbb{K}^{n}$ heißt\\
|
|
\underline{Lipschitz-stetig}, wenn eine Konstante $L < \infty$ existiert, s.d.
|
|
\[
|
|
\Vert g(x) - g(y) \Vert \le L \Vert x - y \Vert, \qquad \forall x, y \in D
|
|
.\] Falls $L < 1$ heißt $g$ Kontraktion (bezügl. Norm $\Vert \cdot \Vert$).
|
|
\end{definition}
|
|
|
|
\begin{satz}[Banachscher Fixpunktsatz]
|
|
\label{satz:banach-fix}
|
|
Sei $g\colon D \subseteq \mathbb{K}^{n} \to \mathbb{K}^{n}$ eine Funktion mit den Eigenschaften
|
|
\begin{enumerate}[1)]
|
|
\item $g(M) = M$ für ein $M \subseteq D$, $M$ abgeschlossen
|
|
\item $g$ ist Kontraktion auf $M$, d.h. $\exists L < 1$, s.d.
|
|
$\Vert g(x) - g(y) \Vert \le L \Vert x - y \Vert$, $\forall x, y \in M$.
|
|
\end{enumerate}
|
|
Dann gilt
|
|
\begin{enumerate}[(i)]
|
|
\item Es existiert genau ein Fixpunkt $x^{*} \in M$ von $g$.
|
|
\item $\forall x^{(0)} \in M$ ist die Iterationsfolge $x^{(k)} = g\left( x^{(k-1)} \right)$ wohldefiniert
|
|
$(x^{(k)} \in M)$ und $x^{(k)} \xrightarrow{k \to \infty} x^{*}$.
|
|
\item Es gilt die Abschätzung:
|
|
\[
|
|
\Vert x^{(k)} - x^{*} \Vert \le \frac{L^{k}}{1 - L} \Vert x^{(1)} - x^{(0)} \Vert
|
|
.\]
|
|
\end{enumerate}
|
|
\end{satz}
|
|
|
|
\begin{proof}
|
|
\begin{enumerate}[(i)]
|
|
\item Seien $x, x' \in M$ zwei Fixpunkte. Dann
|
|
\begin{align*}
|
|
\Vert x - x' \Vert = \Vert g(x) - g(x') \Vert \le L \Vert x - x'\Vert
|
|
.\end{align*}
|
|
Damit folgt
|
|
\begin{align*}
|
|
\underbrace{(1 - L)}_{> 0} \underbrace{\Vert x - x' \Vert}_{\ge 0} \le 0
|
|
\implies \Vert x - x'\Vert = 0 \implies x = x'
|
|
.\end{align*}
|
|
\item $g(M) = M \implies x^{(k)} = g\left( x^{(k-1)} \right)$, $k \in \N$ ist wohldefiniert,
|
|
d.h. $x^{(k)} \in M$, $\forall k \in \N$, falls $x^{(0)} \in M$.
|
|
|
|
Z.z.: $x^{(k)}$ konvergiert mit $\displaystyle \lim_{k \to \infty} x^{(k)} \in M$, also
|
|
g.z.z.: $\left( x^{(k)} \right)_{k \in \N}$ ist Cauchy-Folge.
|
|
\begin{leftright}
|
|
\begin{salign*}
|
|
\Vert x^{(k+1)} - x^{(k)} \Vert &= \left\Vert g(x^{(k)}) - g(x^{(k-1)}) \right\Vert \\
|
|
&\le L \Vert x^{(k)} - x^{(k-1)} \Vert \\
|
|
&= L \left\Vert g(x^{(k-1)}) - g(x^{(k-2)}) \right\Vert \\
|
|
&\le L \cdot L \cdot \Vert x^{(k-1)} - x^{(k-2)} \Vert\\
|
|
&\le \underbrace{L \cdot \ldots \cdot L}_{k}
|
|
\Vert x^{(1)} - x^{(0)} \Vert \\
|
|
&= L^{k} \Vert x^{(1)} - x^{(0)} \Vert
|
|
\intertext{Seien $k, m$ beliebig. Dann gilt
|
|
$\forall \epsilon > 0$}
|
|
\Vert x^{(k+m)} - x^{(k)} \Vert &= \Vert x^{(k+m)} - x^{(k+m-1)} + x^{(k+m-1)} - \ldots x^{(k+1)} - x^{(k)} \Vert \\
|
|
&\le \Vert x^{(k+m)} - x^{(k+m-1)} \Vert
|
|
+ \ldots + \Vert x^{(k+1)} - x^{(k)} \Vert \\
|
|
&= L^{m-1} \Vert x^{(k+1)} - x^{(k)} \Vert
|
|
+ L^{m-2} \Vert x^{k+1} - x^{k} \Vert
|
|
+ \ldots + \Vert x^{(k+1)} - x^{(k)} \Vert \\
|
|
&= (L^{m-1} + L^{m-2} + \ldots + 1) \Vert x^{(k+1)} - x^{(k)} \Vert \\
|
|
&= \frac{1 - L^{m}}{1 - L} \Vert x^{(k+1)} - x^{(k)} \Vert \\
|
|
&\le \frac{1 - L^{m}}{1 - L} L^{k} \Vert x^{(1)} - x^{(0)} \Vert \\
|
|
&\le \frac{L^{k}}{1-L} \Vert x^{(1)} - x^{(0)} \Vert \\
|
|
&\stackrel{L < 1}{<}\epsilon \qquad \text{ für } k \text{ groß genug}
|
|
.\end{salign*}
|
|
\end{leftright}
|
|
Also ist $\left( x^{(k)} \right)_{k \in \N}$ eine Cauchy-Folge in $M$ und es existiert
|
|
ein $x^{*} \in M$, s.d. $\left( x^{(k)} \right)_{k \in \N}$ gegen
|
|
$x^{*}$ konvergiert. $x^{*}$ ist ein Fixpunkt von $g$, weil
|
|
\[
|
|
x^{*} = \lim_{k \to \infty} x^{(k)} = \lim_{k \to \infty} g\left( x^{(k-1)} \right)
|
|
\qquad \stackrel{g \text{ stetig}}{=} \qquad
|
|
g\left( \lim_{k \to \infty} x^{(k-1)} \right) = g(x^{*})
|
|
.\]
|
|
\item Für festes $k \in \N$ gilt
|
|
\begin{align*}
|
|
\Vert \underbrace{x^{(k+m)}}_{\xrightarrow{m \to \infty} x^{*}} - x^{(k)} \Vert \le \frac{L^{k}}{1-L} \Vert x^{(1)} - x^{(0)} \Vert \implies \Vert x^{*} - x^{(k)} \Vert \le \frac{L^{k}}{1 -L}
|
|
\Vert x^{(1)} - x^{(0)} \Vert
|
|
.\end{align*}
|
|
\end{enumerate}
|
|
\end{proof}
|
|
|
|
\begin{bem}
|
|
Für den Beweis ist wichtig, dass der grundlegende Raum vollständig ist, d.h. dass alle
|
|
Cauchy-Folgen in diesem Raum konvergieren.
|
|
\end{bem}
|
|
|
|
\begin{bem}[Anwendung: Lineare Gleichungssysteme]
|
|
$A = \left( a_{ij} \right)_{i,j = 1}^{n} \in \mathbb{K}^{n \times n}$ regulär und $b = (b_i)_{i = 1}^{n} \in \mathbb{K}^{n}$. Da $A$ regulär, hat das LGS $Ax = b$ genau
|
|
eine Lösung $x^{*} = A^{-1}b$. Sei $g(x) \coloneqq x - \sigma (Ax - b)$ mit
|
|
$\sigma \in \mathbb{K} \setminus \{0\} $.
|
|
|
|
Fixpunktiteration $x^{(k)} = x^{(k-1)} - \sigma (Ax^{(k-1)} - b)$, $k \in \N$ konvergiert, wenn
|
|
$g$ kontraktiv ist. Zum Beispiel in $\ell_2$:
|
|
\begin{align*}
|
|
\Vert g(x) - g(y) \Vert_2 &= \Vert x - \sigma(Ax - b) - y + \sigma(Ay -b)\Vert_2 \\
|
|
&= \Vert x - y - \sigma A(x-y) \Vert_2 \\
|
|
&= \Vert (\mathbb{I} - \sigma A)(x-y) \Vert_2 \\
|
|
&\le \Vert \mathbb{I} - \sigma A \Vert_2 \Vert x - y \Vert_2
|
|
,\end{align*} d.h. $g$ kontraktiv, falls $\vert \mathbb{I} - \sigma A \Vert_2 < 1$.
|
|
|
|
Frage: Wahl von $\sigma$? Wähle $\sigma = \Vert A \Vert_{\infty}^{-1} = \frac{1}{\Vert A \Vert_{\infty}}$, falls $A$ hermitesch und positiv definit (= ,,Richardson Iteration``). Zu überprüfen
|
|
$\left\Vert \mathbb{I} - \frac{A}{\Vert A \Vert_{\infty}} \right\Vert_2 < 1$.
|
|
Da $A$ positiv definit und hermitesch, sind alle Eigenwerte $\lambda > 0$. Es gilt
|
|
$\forall $ EW: $0 < \lambda \le \Vert A \Vert_{\infty}$. Für EW von $\mathbb{I} - \frac{A}{\Vert A\Vert_{\infty}} $ gilt $\mu = 1 - \frac{\lambda}{\Vert A \Vert_{\infty}}$, $\lambda$ Eigenwert von $A$. Also
|
|
$0 \le \underbrace{1 - \frac{\lambda}{\Vert A \Vert_{\infty}}}_{= \mu} < 1$, mit \ref{lemma:spektralnorm} folgt
|
|
$\Big\Vert \underbrace{\mathbb{I} - \frac{A}{\Vert A \Vert_{\infty}}}_{\text{hermitesch}} \Big\Vert_2 < 1$. Falls $A$ hermitesch und positiv definit, ist also
|
|
die Richardson Iteration konvergent.
|
|
\end{bem}
|
|
|
|
\begin{definition}[Starke Monotonie]
|
|
Eine Funktion $f\colon D \subseteq \R^{n} \to \R^{n}$ heißt stark monoton, wenn
|
|
eine Konstante $m > 0$ existiert, s.d. $\forall x, y \in D$ gilt
|
|
\[
|
|
(f(x) - f(y), x-y)_2 \ge m \Vert x - y \Vert_2^2
|
|
.\]
|
|
\end{definition}
|
|
|
|
\begin{bem}[Anwendung: Nichtlineare Gleichungssysteme]
|
|
Sei $f\colon D \subseteq \R^{n} \to \R^{n}$ Lipschitz stetig mit $L$ und stark monoton mit $m > 0$.
|
|
Betrachte $f(x) = b$, $g(x) \coloneqq x - \theta (f(x) - b)$.
|
|
|
|
Frage: Wahl von $\theta$, s.d. $\forall x ^{(0)} \in D$ die Fixpunktiteration konvergiert?
|
|
Es ist
|
|
\begin{align*}
|
|
\Vert g(x) - g(y) \Vert_2^2 &= \Vert x - \theta (f(x) - b) - y + \theta (f(y) - b) \Vert_2^2 \\
|
|
&= \Vert x - y - \theta (f(x) - f(y)\Vert_2^2 \\
|
|
&= \Vert x - y \Vert_2^2 - 2 \theta (x-y, f(x) - f(y))_2
|
|
+ \theta^2 \Vert f(x) - f(y) \Vert_2^2 \\
|
|
&\le \Vert x - y \Vert_2^2 - 2 \theta m \Vert x - y \Vert_2^2
|
|
+ \theta^2 L^2 \Vert x- y \Vert_2^2 \\
|
|
&= (1 - 2\theta m + \theta^2 L^2) \Vert x - y \Vert_2^2
|
|
.\end{align*}
|
|
Die Fixpunktiteration konvergiert, falls $1 - 2 \theta m + \theta^2L^2 < 1$, d.h.
|
|
für $\theta \in \left( 0, \frac{2m}{L^2} \right) $. Dann existiert
|
|
ein $\displaystyle x^{*} = \lim_{k \to \infty} x^{(k)}$ mit $g(x^{*}) = x^{*}$. Ist
|
|
$x^{*}$ eindeutig? Seien $x, x'$ zwei Lösungen. Dann ist
|
|
\begin{salign*}
|
|
0 &= (\underbrace{f(x) - b + b -f(x')}_{= 0}, x - x')_2 \\
|
|
&= (f(x) - f(x'), x-x')_2 \\
|
|
&\stackrel{f\text{ stark monoton}}{\ge} m \Vert x - x' \Vert_2^2 \\
|
|
&\ge 0
|
|
.\end{salign*}
|
|
Also $x = x'$, damit ist $x^{*}$ eindeutig.
|
|
\end{bem}
|
|
|
|
\end{document}
|