ana-lecture/ana7.tex

\documentclass{lecture}


\begin{document}

\newcommand{\K}{\mathbb{K}}


\section{Lineare Abbildungen auf dem \texorpdfstring{$K^{n}$}{K\unichar{"207F}}}
\begin{definition}[Lineare Abbildung]
    Eine lineare Abbildung $\varphi: \K^n \to \K^m$ heißt linear, falls $\forall \alpha, \beta \in \K$ gilt $$\varphi (\alpha x + \beta y) = \alpha \varphi(x) + \beta \varphi(y)\qquad\forall x,y \in \K^n$$
\end{definition}
\begin{bem}
    Eine lineare Abbildung läßt sich als Matrix darstellen. Betrachte $x\in \K^n$ und euklidische/kartesische Basis $e^{(i)},\; i = 1,\dots n$. Dann $\exists !$ Darstellung von $x$ bezüglich der Basis
    $$x = \sum_{i = 1}^{n}x_i\cdot e^{(i)}.$$
    Die Koeffizienten $x_i, i = 1, \dots n$ sind Koordinaten. Wir definieren Koordinatenvektor $\hat x = \begin{pmatrix}
        x_1\\\vdots\\x_n
    \end{pmatrix}$. Dann ist $$\varphi(x) = \varphi\left(\sum_{i = 1}^{n}x_i\cdot e^{(i)}\right) = \sum_{i = 1}^{n}x_i \cdot \varphi\left(e^{(i)}\right).$$
    $\varphi(x)$ hat auch eine (eindeutige) Darstellung bzgl. Basis in $\K^m$.
    $$\varphi(x) = \sum_{j = 1}^{m} \underbrace{\varphi_j(x)}_{*} \cdot e^{(j)}  = \sum_{j = 1}^{m}\underbrace{\left(\sum_{i = 1}^{n}x_i\overbrace{\varphi_j\left(e^{(i)}\right)}^{a_{ji}}\right)}_{= \varphi_j(x)} \cdot e^{(j)}$$
    \begin{center}
        (*) Koordinaten von $\varphi_j(x)$ bzgl. Basis $e^{(j)}, j = 1, \dots, m$
    \end{center}
    Dabei sind die $\varphi_j(x)$ Koordinaten und der Koordinatenvektor ist $\hat\varphi(x) = \begin{pmatrix}
        \varphi_1(x)\\
        \dots\\
        \varphi_m(x)
    \end{pmatrix}$. Dann erhalten wir eine Matrix
    $$\begin{pmatrix}
        \varphi_1\left(e^{(1)}\right) & \dots & \varphi_1\left(e^{(n)}\right)\\
        &\vdots & & \vdots\\
        \varphi_m\left(e^{(1)}\right) & \dots & \varphi_m\left(e^{(n)}\right)
    \end{pmatrix} = \begin{pmatrix}
        a_{11} & \dots & a_{1n}\\
        \vdots & & \vdots \\
        a_{m1} & \dots & a_{mn}
    \end{pmatrix} = A \in \K ^{m\times n}$$
    Für einen Koordinatenvektor bezüglich Basis $e^{(j)}$ gilt $$\varphi(x) = \left(A\hat x\right)_j = \sum_{i = 1}^{n}a_{ij} x_i, \qquad j = 1, \dots, m$$
    Die lineare Abbildung $\varphi: \K^n \to \K^m$ lässt sich bezüglich festgelegter Basen von $\K^n$ und $\K^m$ eindeutig durch die Matrix $A\in K^{m\times n}$ beschreiben.
    $$\hat \varphi(x) = A\hat x, \qquad x\in \K^n$$
    Im folgenden wird der Punkt $x$ mit seiner speziellen kartesischen Darstellung $\hat x$ identifiziert.
    Konvention: $A\in \K^{m\times n}$
    \begin{itemize}
        \item Anzahl an Zeilen $m =$ Dimension des Bildraums $\K^m$
        \item Anzahl an Spalten $n =$ Dimension des Urbildraums $\K^n$
    \end{itemize}
    Falls $m =n$ definiert $A\in K^{n\times n}$ eine lineare Abbildung in $\K^n$.
\end{bem}
\begin{lemma}[Lineare Abbildungen in $\K^n$]
    \label{lemma:linabb}
    Sei $A = (a_{ij})_{i,j=1}^n \in \K^{n\times n}$. Dann sind die folgenden Aussagen äquivalent.
    \begin{enumerate}
        \item $A$ ist regulär
        \item $Ax = b$ ist eindeutig lösbar $\forall b\in \K^n$ (Bijektivität der linearen Abbildung)
        \item $Ax = 0$ hat nur eine Lösung $x = 0$ (Injektivität)
        \item $Ax = b$ ist $\forall b \in \K^n$ lösbar (Surjektivität)
        \item Rang$(A) = n$
        \item $\det (A) \neq 0$
        \item Alle Eigenwerte $\lambda \in \C$ von $A$ sind ungleich Null
        \item Die (komplex) transponierte Matrix $\bar{A}^T$ ist regulär.
    \end{enumerate}  
\end{lemma}
Weitere Begriffe und Eigenschaften
\begin{itemize}
    \item $A, A' \in \K^{n\times n}$ sind \textbf{identisch} $(a_{ij} = a_{ij}' \ \forall i, j) \Leftrightarrow Ax = A'x \ \forall x \in \K^n$
    \item $A, A' \in \K^{n\times n}$ sind \textbf{ähnlich}, wenn $\exists T \in \K^{n\times n}$ regulär, sodass $$A' = T^{-1} AT$$
    Übergang $A \to A'$ heißt Ähnlichkeitstransformation und es gilt für $z \in \C$
    \begin{align*}
        \underbrace{\det(A' - z \mathbb{I})}_{\overset{\text{\footnotesize Charakt. Polynom für $A'$}}{\text{\footnotesize Nullstellen $=$ EW von $A'$}}}
        &= \det\left(T^{-1}AT - z \underbrace{T^{-1}T}_{= \mathbb{I}}\right)\\
        &= \det(T^{-1}(A- z \mathbb{I})T)\\
        &\stackrel{\det(AB) = \det(A)\det(B)}{=}\qquad \qquad \det(T^{-1}) \det(A - z \mathbb{I})\det(T)\\
        &\stackrel{\det(T^{-1})\det(T) = 1 = \det(\mathbb{I}))}{=} \qquad \qquad  \underbrace{\det(A - z \mathbb{I})}_{\mathclap{\text{char. Pol. von $A$}}}
    \end{align*}
    Ähnliche Matrizen haben also die gleichen Eigenwerte, aber im Allgemeinen unterschiedliche Eigenvektoren.
    \item $n \times n$ Matrizen $A\in \K^{m\times n}$ bilden einen Vektorraum.
    \begin{itemize}
        \item \textbf{Konvergenz} von Folgen von Matrizen ist komponentenweise Konvergenz
        $$A^{(k)} \to A, k \to \infty \Leftrightarrow a_{ij}^{(k)} \overset{k \to \infty}{\to} a_{ij}\ \forall i = 1, \dots, m, \forall j = 1, \dots n$$
    \end{itemize}
    \item Sei $\Vert \cdot \Vert$ eine beliebige Norm auf $\K^n$. Dann 
    $$\norm{A} \coloneqq \sup\limits_{x \in \K^n\setminus \{0\}} \frac{\norm{Ax}}{\norm{x}} = \sup\limits_{x\in \K ^n} \norm{Ax}\; \text{für}\; \norm{x} = 1$$ ist die von $\norm{\cdot}$ in $\K^n$ erzeugte natürliche \textbf{Matrixnorm}
    \begin{itemize}
        \item Für natürliche Matrixnorm gilt notwendig $\norm{\mathbb{I}} = 1$
        \item Natürliche Matrixnorm ist \underline{verträglich} mit $\norm{\cdot}$, d.h. für $A\in K^{n\times n}$ ist $\norm{Ax} \leq \norm{A}\cdot \norm{x}, x\in \K^n$
        \item und \underline{submultiplikativ}, d.h.
        $\norm{AB} \leq \norm{A}\norm{B}$ für $A, B \in \K^{n\times n}$
    \end{itemize}
\end{itemize}
\begin{bsp}
    $\norm{A}_F = \left(\sum_{j, k = 1}^{n}|a_{jk}|^2   \right)^{\frac{1}{2}}$ heißt \underline{Frobenius}-Norm. Sie ist verträglich mit $\norm{\cdot}_2$ in $\K^n$ und submultiplikativ, aber keine natürliche Matrixnorm, weil $\norm{\mathbb{I}}_F = \sqrt{n} \neq 1$ für $n \geq 2$.
\end{bsp}
\begin{lemma}[Natürliche Matrixnormen]
    Die natürliche Matrixnormen zu $\norm{\cdot}_\infty$ ($\ell_\infty$ / Maximumnorm) und $\norm{\cdot}_1$ ($\ell_1$-Norm) in $\K^n$ sind
    \begin{align*}
        \norm{A}_\infty &\coloneqq \max\limits_{1 \leq i \leq n} \sum_{j = 1}^{n}|a_{ij}| \qquad \text{Maximale Zeilen-Summen-Norm} \\
        \norm{A}_1 &\coloneqq \max\limits_{1 \leq j \leq n} \sum_{i = 1}^{n}|a_{ij}| \qquad \text{Maximale Spalten-Summen-Norm}
    \end{align*}
\end{lemma}
\begin{proof}
    \begin{enumerate}
        \item Matrixnorm $\norm{\cdot}_\infty$ ist eine Norm (d.h. erfüllt Normeigenschaften (\ref{def:N1}), (\ref{def:N2}) und (\ref{def:N3}))
        \item Z.z. Verträglichkeit
        $$\norm{Ax}_\infty\! = \max\limits_{1 \leq i \leq n} \left| \sum_{j = 1}^{n}a_{ij}x_j\right| \leq \max\limits_{1 \leq i \leq n}\left(\sum_{j = 1}^{n}|a_{ij}| \cdot |x_j|\right)\! \leq \norm{x}_\infty \cdot \max_{1\leq i \leq n} \sum_{j = 1}^{n} |a_{ij}| = \norm{x}_\infty \cdot \norm{A}_\infty$$
        $\implies$ Verträglichkeit mit $\norm{\cdot}_\infty$
        \item Z.Z. $\norm{A}_\infty = \sup\limits_{\norm{x}_\infty = 1} \norm{Ax}_\infty$
        $$\norm{Ax}_\infty = 0 \implies A = 0\implies \norm{A}_\infty = 0 = \sup\limits_{\norm{x}_\infty = 1} \norm{Ax}_\infty$$
        Sei $A \neq 0$, dann $\norm{A}_\infty > 0$ (Definitheit von Normen). Sei $$\norm{A}_\infty = \max\limits_{1\leq i\leq n} \sum_{j = 1}^{n}|a_{ij}| = \sum_{j = 1}^{n}|a_{mj}|\text{ für ein }m\in \{1, \dots, n\}.$$ Setze $z_j = \frac{|a_{mj}|}{a_{mj}}$, falls $a_{mj} \neq 0$ und sonst $z_j = 0$. ($z_j = \operatorname{sign}(a_{mj})$). Für   $z = \begin{pmatrix}
            z_1 \\ \vdots \\ z_n
        \end{pmatrix}$ gilt dann $\norm{z}_\infty = 1$ und $$(Az)_m = \sum_{j = 1}^{n}a_{mj}z_j = \sum_{j = 1}^{n}|a_{mj}| = \norm{A}_\infty.$$ Es folgt
        $$\norm{A}_\infty = (Az)_m \leq \norm{Az}_\infty \leq \sup\limits_{\norm{y}_\infty = 1} \norm{Ay}_\infty \leq \sup\limits_{\norm{y}_\infty = 1} \norm{A}_\infty \cdot \underbrace{\norm{y}_\infty}_{=1} = \norm{A}_\infty$$
        $$\implies \norm{A}_\infty = \sup\limits_{\norm{y}_\infty = 1} \norm{Ay}_\infty$$
    \end{enumerate}
    Beweis für $\ell_1$ analog.
\end{proof}
\begin{definition}
    \begin{enumerate}
        \item Eigenwerte $\lambda \in \K$ einer Matrix $A\in \K^{n\times n} = $ Nullstellen des charakteristischen Polynoms
        $$p(\lambda) = \det(A - \lambda \mathbb{I})$$
        \item $\sigma(A) = \{\lambda \ |\ \lambda\text{ Eigenwert von } A\}$ heißt \textbf{Spektrum} von $A$.
        \item $\forall \lambda \in \sigma(A)\ \exists \text{ Eigenvektor } w\in \K^n\setminus\{0\}:$
        $$A w = \lambda w$$
        Die Eigenvektoren zu $\lambda$ bilden einen Vektorraum, den \textbf{Eigenraum} zu $\lambda$ mit Dimension = \textbf{geometrische Vielfachheit} von $\lambda$.
        \item Abschätzung der Eigenwerte: Sei $\lambda \in \sigma(A)$ und $w$ ein Eigenvektor zu $\lambda$ mit $\norm{w} = 1$.
        Dann $|\lambda| = |\lambda| \cdot \norm{w} = \norm{\lambda w} = \norm{Aw} \underset{\text{Verträglichkeit}}{\leq} \norm{A}\cdot \norm{w} = \norm{A} \implies |\lambda| \leq \norm{A}$
        \item $A$ heißt \textbf{hermitesch}, falls gilt 
        $$A = \bar{A}^T\quad (a_{ij} = \overline{a_{ji}})$$
        Reelle hermitesche Matrizen heißen \textbf{symmetrisch}. Für das Skalarproukt gilt 
        $$A = \bar{A}^T \Leftrightarrow (Ax, y)_2 = (x, Ay)_2 \ \forall x, y \in \K^n$$
        Hermitesche Matrizen sind diagonalisierbar = ähnlich zu einer Diagonalmatrix, alle Eigenwerte einer hermiteschen Matrix sind reell. $\exists$ eine orthonormale Basis aus Eigenvektoren.
        \item $A\in \K^{n\times n}$ heißt \textbf{positiv definit}, wenn gilt $(Ax, x)_2 \in \R$, $(Ax, x)_2 > 0 \ \forall x \in \K^n\setminus\{0\}$. Eine hermitesche Matrix ist positiv definit $\Leftrightarrow$ alle Eigenwerte sind positiv.
        \item $\norm{\cdot}_2$ ($\ell_2$-Norm) im $\K^n$ erzeugt eine natürliche \textbf{Matrixnorm (Spektralnorm)} $\norm{\cdot}_2$ 
    \end{enumerate}
\end{definition}
\begin{lemma}[Spektralnorm]
    \label{lemma:spektralnorm}
    Sei $A \in \K^{n\times n}$. Dann ist $\bar{A}^TA \in \K^{n\times n}$ hermitesch und positiv semidefinit. Für die Spektralnorm gilt
    $$\norm{A}_2 = \max \left\{\sqrt{|\lambda|}, \lambda \in \sigma(\bar{A}^TA)\right\}$$
    Sei $A$ hermitesch, bzw. symmetrisch, dann gilt $\norm{A}_2 = \max\{|\lambda|, \lambda\in \sigma(A)\}$
\end{lemma}

\begin{proof}
    \begin{enumerate}[1)]
        \item $\bar{A}^{T}A$ hermitesch, denn
            \[
                \overline{\left( \bar{A}^{T}A \right)^{T}}
                = \left( A^{T}\bar{A} \right)^{T} = \bar{A}^{T}A
            .\] $\bar{A}^{T}A$ positiv semidefinit, denn
            \[
                (\bar{A}^{T}Ax, x)_2 = (Ax, Ax)_2 = \Vert A x \Vert_2^{2} \ge 0 \qquad
                \forall x \in \mathbb{K}^{n}
            .\] 
        \item Es ist nach Definition
            \[
            \Vert A \Vert_2^2 = \sup_{\Vert x \Vert_{2} = 1} \Vert A x \Vert_2^{2}
            = \sup_{\Vert x \Vert_2 = 1} (Ax, Ax)_2
            = \sup_{\Vert x \Vert_2 = 1} (x, \bar{A}^{T}Ax)_2
        .\] Wegen (1) ist $\bar{A}^{T}A$ hermitesch und positiv
        semidefinit, d.h. es ex. $U \in \mathbb{K}^{n \times n}$
        mit $U$ unitär und $U^{T}\bar{A}^{T}AU = D$, wobei
        $D = \text{diag}(\lambda_1, \ldots, \lambda_n)$, $\lambda \in \sigma(\bar{A}^{T}A)$ und
        $\lambda_i \ge 0$ reell.

        Sei $y = \bar{U}^{T}x = U^{-1}x \implies x = Uy$. Damit folgt
        mit $|\lambda_{max}| \coloneqq \max \{ |\lambda_i|  \mid \lambda_i \in \sigma(\bar{A}^{T}A)\} $
        \begin{align*}
            \Vert A \Vert_2^2 &= \sup_{\Vert x \Vert_2 = 1} (x, \bar{A}^{T}Ax)_2 \\
            &= \sup_{\Vert Uy \Vert_2 = 1} (\underbrace{Uy}_{= x}, \bar{A}^{T}A\underbrace{Uy}_{= x})_2 \\
            &= \sup_{\Vert y \Vert_2 = 1} (y, \underbrace{\bar{U}^{T}\bar{A}^{T}AU}_{= D}y)_2 \\
            &= \sup_{\Vert y \Vert_2 = 1} (y, Dy)_2 \\
            &= \sup_{\Vert y \Vert_2 = 1}
            (\underbrace{\lambda_1 |y_1|^2 + \ldots + \lambda_n |y_n|^2}
            _{= \sum_{i=1}^{n} \lambda_i |y_i|^2}) \\
            &\le \sup_{\Vert y \Vert_2 = 1} \sum_{i=1}^{n} |\lambda_{max}| |y_i|^2 \\
            &= |\lambda_{max}| \sup_{\Vert y \Vert_2 = 1} \Vert y \Vert_2^2 \\
            &= |\lambda_{max}|
        .\end{align*}
        Sei $y$ Eigenvektor zu $\lambda_{max}$ und $\Vert y \Vert_2 = 1$. Dann gilt
        $Dy = \lambda_{max}y$, also $(y, Dy)_2 = \lambda_{max}\underbrace{(y,y)_2}_{= 1}$. Damit
        existiert ein $y$, s.d. $(y, Dy)_2 = \lambda_{max}$. % ????
        Also folgt
        $\displaystyle \sup_{\Vert y \Vert_2 = 1}(y, Dy)_2 = \lambda_{max}$. Damit folgt die
        Behauptung für $A \in \mathbb{K}^{n \times n}$. Behauptung
        für $A$ hermitesch analog. % ???????
    \end{enumerate}
\end{proof}

\begin{definition}[orthonormale/unitäre Matrizen]
    Eine Matrix $Q\in \K^{m\times n}$ heißt \textbf{orthonormal}, wenn ihre Spaltenvektoren ein Orthonormalsystem im $\K^m$ bilden, d.h.
    $$Q = (q_1, \dots, q_n)\qquad q_j \in \K^m$$
    $$(q_i, q_j)_2 = \sum_{k = 1}^{m} q_{ik}\cdot \overline{q_{kj}} = \begin{cases}
        1, &i =j\\
        0, &\text{sonst}
    \end{cases}$$
    Falls $m =n$ heißt $Q$ unitär.
\end{definition}
\begin{lemma}
    Sei $Q\in \K^{n\times n}$ unitär. Dann ist $Q$ regulär, $Q^{-1} = \overline{Q}^T$ und $(Qx, Qy)_2 = (x,y)_2,\; x,y\in \K^n$
    $$\norm{Qx}_2 = \norm{x}_2, \; x\in \K^n$$
    d.h. euklidisches Skalarproukt und euklidische Norm sind invariant unter unitären Transformationen und folglich $\norm{Q}_2 = \norm{Q^{-1}}_2 = 1$
\end{lemma}
\begin{proof}
    \begin{enumerate}
        \item Z.Z. $Q^{-1} = \overline{Q}^T$\\
        Sei $Q = (q_1, \dots, q_n), \overline{Q}^T = \begin{pmatrix}
            \overline{q}_1^T\\
            \vdots\\
            \overline{q}_n^T
        \end{pmatrix}$. Dann gilt 
        $$\overline{Q}^T \cdot Q = \begin{pmatrix}
            \overline{q}_1^T \cdot q_1 & \dots & \overline{q}_1^T \cdot q_n\\
            \vdots & \ddots & \vdots\\
            \overline{q}_n^T \cdot q_1 & \dots & \overline{q}_n^T \cdot q_n
        \end{pmatrix} \overset{Q \text{ unitär}}{=} \begin{pmatrix}
            1 & & 0\\
            & \ddots & \\
            0 & & 1
        \end{pmatrix}$$
        \item \begin{align*}
            (Qx, Qy)_2 &= (x, \overline{Q}^TQ y)_2 = (x,y)_2\\
            \norm{Qx}_2^2 &= (Qx, Qx)_2 = (x,x)_2 = \norm{x}_2^2\\
            \norm{Q}_2 &= \sup\limits_{\norm{x}_2 =1} \norm{Qx}_2 = \sup\limits_{\norm{x}_2 =1} \norm{x}_2 = 1\\
            \norm{Q^{-1}}_2 &= \sup\limits_{\norm{x}_2 =1} \norm{Q^{-1}x}_2 = \sup\limits_{\norm{x}_2 =1} \norm{QQ^{-1}x}_2 = \sup\limits_{\norm{x}_2 =1} \norm{x}_2 = 1 
        \end{align*}
    \end{enumerate}
\end{proof}
\end{document}