\documentclass{lecture} \begin{document} \newcommand{\K}{\mathbb{K}} \section{Lineare Abbildungen auf dem \texorpdfstring{$K^{n}$}{K\unichar{"207F}}} \begin{definition}[Lineare Abbildung] Eine lineare Abbildung $\varphi: \K^n \to \K^m$ heißt linear, falls $\forall \alpha, \beta \in \K$ gilt $$\varphi (\alpha x + \beta y) = \alpha \varphi(x) + \beta \varphi(y)\qquad\forall x,y \in \K^n$$ \end{definition} \begin{bem} Eine lineare Abbildung läßt sich als Matrix darstellen. Betrachte $x\in \K^n$ und euklidische/kartesische Basis $e^{(i)},\; i = 1,\dots n$. Dann $\exists !$ Darstellung von $x$ bezüglich der Basis $$x = \sum_{i = 1}^{n}x_i\cdot e^{(i)}.$$ Die Koeffizienten $x_i, i = 1, \dots n$ sind Koordinaten. Wir definieren Koordinatenvektor $\hat x = \begin{pmatrix} x_1\\\vdots\\x_n \end{pmatrix}$. Dann ist $$\varphi(x) = \varphi\left(\sum_{i = 1}^{n}x_i\cdot e^{(i)}\right) = \sum_{i = 1}^{n}x_i \cdot \varphi\left(e^{(i)}\right).$$ $\varphi(x)$ hat auch eine (eindeutige) Darstellung bzgl. Basis in $\K^m$. $$\varphi(x) = \sum_{j = 1}^{m} \underbrace{\varphi_j(x)}_{*} \cdot e^{(j)} = \sum_{j = 1}^{m}\underbrace{\left(\sum_{i = 1}^{n}x_i\overbrace{\varphi_j\left(e^{(i)}\right)}^{a_{ji}}\right)}_{= \varphi_j(x)} \cdot e^{(j)}$$ \begin{center} (*) Koordinaten von $\varphi_j(x)$ bzgl. Basis $e^{(j)}, j = 1, \dots, m$ \end{center} Dabei sind die $\varphi_j(x)$ Koordinaten und der Koordinatenvektor ist $\hat\varphi(x) = \begin{pmatrix} \varphi_1(x)\\ \dots\\ \varphi_m(x) \end{pmatrix}$. Dann erhalten wir eine Matrix $$\begin{pmatrix} \varphi_1\left(e^{(1)}\right) & \dots & \varphi_1\left(e^{(n)}\right)\\ &\vdots & & \vdots\\ \varphi_m\left(e^{(1)}\right) & \dots & \varphi_m\left(e^{(n)}\right) \end{pmatrix} = \begin{pmatrix} a_{11} & \dots & a_{1n}\\ \vdots & & \vdots \\ a_{m1} & \dots & a_{mn} \end{pmatrix} = A \in \K ^{m\times n}$$ Für einen Koordinatenvektor bezüglich Basis $e^{(j)}$ gilt $$\varphi(x) = \left(A\hat x\right)_j = \sum_{i = 1}^{n}a_{ij} x_i, \qquad j = 1, \dots, m$$ Die lineare Abbildung $\varphi: \K^n \to \K^m$ lässt sich bezüglich festgelegter Basen von $\K^n$ und $\K^m$ eindeutig durch die Matrix $A\in K^{m\times n}$ beschreiben. $$\hat \varphi(x) = A\hat x, \qquad x\in \K^n$$ Im folgenden wird der Punkt $x$ mit seiner speziellen kartesischen Darstellung $\hat x$ identifiziert. Konvention: $A\in \K^{m\times n}$ \begin{itemize} \item Anzahl an Zeilen $m =$ Dimension des Bildraums $\K^m$ \item Anzahl an Spalten $n =$ Dimension des Urbildraums $\K^n$ \end{itemize} Falls $m =n$ definiert $A\in K^{n\times n}$ eine lineare Abbildung in $\K^n$. \end{bem} \begin{lemma}[Lineare Abbildungen in $\K^n$] \label{lemma:linabb} Sei $A = (a_{ij})_{i,j=1}^n \in \K^{n\times n}$. Dann sind die folgenden Aussagen äquivalent. \begin{enumerate} \item $A$ ist regulär \item $Ax = b$ ist eindeutig lösbar $\forall b\in \K^n$ (Bijektivität der linearen Abbildung) \item $Ax = 0$ hat nur eine Lösung $x = 0$ (Injektivität) \item $Ax = b$ ist $\forall b \in \K^n$ lösbar (Surjektivität) \item Rang$(A) = n$ \item $\det (A) \neq 0$ \item Alle Eigenwerte $\lambda \in \C$ von $A$ sind ungleich Null \item Die (komplex) transponierte Matrix $\bar{A}^T$ ist regulär. \end{enumerate} \end{lemma} Weitere Begriffe und Eigenschaften \begin{itemize} \item $A, A' \in \K^{n\times n}$ sind \textbf{identisch} $(a_{ij} = a_{ij}' \ \forall i, j) \Leftrightarrow Ax = A'x \ \forall x \in \K^n$ \item $A, A' \in \K^{n\times n}$ sind \textbf{ähnlich}, wenn $\exists T \in \K^{n\times n}$ regulär, sodass $$A' = T^{-1} AT$$ Übergang $A \to A'$ heißt Ähnlichkeitstransformation und es gilt für $z \in \C$ \begin{align*} \underbrace{\det(A' - z \mathbb{I})}_{\overset{\text{\footnotesize Charakt. Polynom für $A'$}}{\text{\footnotesize Nullstellen $=$ EW von $A'$}}} &= \det\left(T^{-1}AT - z \underbrace{T^{-1}T}_{= \mathbb{I}}\right)\\ &= \det(T^{-1}(A- z \mathbb{I})T)\\ &\stackrel{\det(AB) = \det(A)\det(B)}{=}\qquad \qquad \det(T^{-1}) \det(A - z \mathbb{I})\det(T)\\ &\stackrel{\det(T^{-1})\det(T) = 1 = \det(\mathbb{I}))}{=} \qquad \qquad \underbrace{\det(A - z \mathbb{I})}_{\mathclap{\text{char. Pol. von $A$}}} \end{align*} Ähnliche Matrizen haben also die gleichen Eigenwerte, aber im Allgemeinen unterschiedliche Eigenvektoren. \item $n \times n$ Matrizen $A\in \K^{m\times n}$ bilden einen Vektorraum. \begin{itemize} \item \textbf{Konvergenz} von Folgen von Matrizen ist komponentenweise Konvergenz $$A^{(k)} \to A, k \to \infty \Leftrightarrow a_{ij}^{(k)} \overset{k \to \infty}{\to} a_{ij}\ \forall i = 1, \dots, m, \forall j = 1, \dots n$$ \end{itemize} \item Sei $\Vert \cdot \Vert$ eine beliebige Norm auf $\K^n$. Dann $$\norm{A} \coloneqq \sup\limits_{x \in \K^n\setminus \{0\}} \frac{\norm{Ax}}{\norm{x}} = \sup\limits_{x\in \K ^n} \norm{Ax}\; \text{für}\; \norm{x} = 1$$ ist die von $\norm{\cdot}$ in $\K^n$ erzeugte natürliche \textbf{Matrixnorm} \begin{itemize} \item Für natürliche Matrixnorm gilt notwendig $\norm{\mathbb{I}} = 1$ \item Natürliche Matrixnorm ist \underline{verträglich} mit $\norm{\cdot}$, d.h. für $A\in K^{n\times n}$ ist $\norm{Ax} \leq \norm{A}\cdot \norm{x}, x\in \K^n$ \item und \underline{submultiplikativ}, d.h. $\norm{AB} \leq \norm{A}\norm{B}$ für $A, B \in \K^{n\times n}$ \end{itemize} \end{itemize} \begin{bsp} $\norm{A}_F = \left(\sum_{j, k = 1}^{n}|a_{jk}|^2 \right)^{\frac{1}{2}}$ heißt \underline{Frobenius}-Norm. Sie ist verträglich mit $\norm{\cdot}_2$ in $\K^n$ und submultiplikativ, aber keine natürliche Matrixnorm, weil $\norm{\mathbb{I}}_F = \sqrt{n} \neq 1$ für $n \geq 2$. \end{bsp} \begin{lemma}[Natürliche Matrixnormen] Die natürliche Matrixnormen zu $\norm{\cdot}_\infty$ ($\ell_\infty$ / Maximumnorm) und $\norm{\cdot}_1$ ($\ell_1$-Norm) in $\K^n$ sind \begin{align*} \norm{A}_\infty &\coloneqq \max\limits_{1 \leq i \leq n} \sum_{j = 1}^{n}|a_{ij}| \qquad \text{Maximale Zeilen-Summen-Norm} \\ \norm{A}_1 &\coloneqq \max\limits_{1 \leq j \leq n} \sum_{i = 1}^{n}|a_{ij}| \qquad \text{Maximale Spalten-Summen-Norm} \end{align*} \end{lemma} \begin{proof} \begin{enumerate} \item Matrixnorm $\norm{\cdot}_\infty$ ist eine Norm (d.h. erfüllt Normeigenschaften (\ref{def:N1}), (\ref{def:N2}) und (\ref{def:N3})) \item Z.z. Verträglichkeit $$\norm{Ax}_\infty\! = \max\limits_{1 \leq i \leq n} \left| \sum_{j = 1}^{n}a_{ij}x_j\right| \leq \max\limits_{1 \leq i \leq n}\left(\sum_{j = 1}^{n}|a_{ij}| \cdot |x_j|\right)\! \leq \norm{x}_\infty \cdot \max_{1\leq i \leq n} \sum_{j = 1}^{n} |a_{ij}| = \norm{x}_\infty \cdot \norm{A}_\infty$$ $\implies$ Verträglichkeit mit $\norm{\cdot}_\infty$ \item Z.Z. $\norm{A}_\infty = \sup\limits_{\norm{x}_\infty = 1} \norm{Ax}_\infty$ $$\norm{Ax}_\infty = 0 \implies A = 0\implies \norm{A}_\infty = 0 = \sup\limits_{\norm{x}_\infty = 1} \norm{Ax}_\infty$$ Sei $A \neq 0$, dann $\norm{A}_\infty > 0$ (Definitheit von Normen). Sei $$\norm{A}_\infty = \max\limits_{1\leq i\leq n} \sum_{j = 1}^{n}|a_{ij}| = \sum_{j = 1}^{n}|a_{mj}|\text{ für ein }m\in \{1, \dots, n\}.$$ Setze $z_j = \frac{|a_{mj}|}{a_{mj}}$, falls $a_{mj} \neq 0$ und sonst $z_j = 0$. ($z_j = \operatorname{sign}(a_{mj})$). Für $z = \begin{pmatrix} z_1 \\ \vdots \\ z_n \end{pmatrix}$ gilt dann $\norm{z}_\infty = 1$ und $$(Az)_m = \sum_{j = 1}^{n}a_{mj}z_j = \sum_{j = 1}^{n}|a_{mj}| = \norm{A}_\infty.$$ Es folgt $$\norm{A}_\infty = (Az)_m \leq \norm{Az}_\infty \leq \sup\limits_{\norm{y}_\infty = 1} \norm{Ay}_\infty \leq \sup\limits_{\norm{y}_\infty = 1} \norm{A}_\infty \cdot \underbrace{\norm{y}_\infty}_{=1} = \norm{A}_\infty$$ $$\implies \norm{A}_\infty = \sup\limits_{\norm{y}_\infty = 1} \norm{Ay}_\infty$$ \end{enumerate} Beweis für $\ell_1$ analog. \end{proof} \begin{definition} \begin{enumerate} \item Eigenwerte $\lambda \in \K$ einer Matrix $A\in \K^{n\times n} = $ Nullstellen des charakteristischen Polynoms $$p(\lambda) = \det(A - \lambda \mathbb{I})$$ \item $\sigma(A) = \{\lambda \ |\ \lambda\text{ Eigenwert von } A\}$ heißt \textbf{Spektrum} von $A$. \item $\forall \lambda \in \sigma(A)\ \exists \text{ Eigenvektor } w\in \K^n\setminus\{0\}:$ $$A w = \lambda w$$ Die Eigenvektoren zu $\lambda$ bilden einen Vektorraum, den \textbf{Eigenraum} zu $\lambda$ mit Dimension = \textbf{geometrische Vielfachheit} von $\lambda$. \item Abschätzung der Eigenwerte: Sei $\lambda \in \sigma(A)$ und $w$ ein Eigenvektor zu $\lambda$ mit $\norm{w} = 1$. Dann $|\lambda| = |\lambda| \cdot \norm{w} = \norm{\lambda w} = \norm{Aw} \underset{\text{Verträglichkeit}}{\leq} \norm{A}\cdot \norm{w} = \norm{A} \implies |\lambda| \leq \norm{A}$ \item $A$ heißt \textbf{hermitesch}, falls gilt $$A = \bar{A}^T\quad (a_{ij} = \overline{a_{ji}})$$ Reelle hermitesche Matrizen heißen \textbf{symmetrisch}. Für das Skalarproukt gilt $$A = \bar{A}^T \Leftrightarrow (Ax, y)_2 = (x, Ay)_2 \ \forall x, y \in \K^n$$ Hermitesche Matrizen sind diagonalisierbar = ähnlich zu einer Diagonalmatrix, alle Eigenwerte einer hermiteschen Matrix sind reell. $\exists$ eine orthonormale Basis aus Eigenvektoren. \item $A\in \K^{n\times n}$ heißt \textbf{positiv definit}, wenn gilt $(Ax, x)_2 \in \R$, $(Ax, x)_2 > 0 \ \forall x \in \K^n\setminus\{0\}$. Eine hermitesche Matrix ist positiv definit $\Leftrightarrow$ alle Eigenwerte sind positiv. \item $\norm{\cdot}_2$ ($\ell_2$-Norm) im $\K^n$ erzeugt eine natürliche \textbf{Matrixnorm (Spektralnorm)} $\norm{\cdot}_2$ \end{enumerate} \end{definition} \begin{lemma}[Spektralnorm] \label{lemma:spektralnorm} Sei $A \in \K^{n\times n}$. Dann ist $\bar{A}^TA \in \K^{n\times n}$ hermitesch und positiv semidefinit. Für die Spektralnorm gilt $$\norm{A}_2 = \max \left\{\sqrt{|\lambda|}, \lambda \in \sigma(\bar{A}^TA)\right\}$$ Sei $A$ hermitesch, bzw. symmetrisch, dann gilt $\norm{A}_2 = \max\{|\lambda|, \lambda\in \sigma(A)\}$ \end{lemma} \begin{proof} \begin{enumerate}[1)] \item $\bar{A}^{T}A$ hermitesch, denn \[ \overline{\left( \bar{A}^{T}A \right)^{T}} = \left( A^{T}\bar{A} \right)^{T} = \bar{A}^{T}A .\] $\bar{A}^{T}A$ positiv semidefinit, denn \[ (\bar{A}^{T}Ax, x)_2 = (Ax, Ax)_2 = \Vert A x \Vert_2^{2} \ge 0 \qquad \forall x \in \mathbb{K}^{n} .\] \item Es ist nach Definition \[ \Vert A \Vert_2^2 = \sup_{\Vert x \Vert_{2} = 1} \Vert A x \Vert_2^{2} = \sup_{\Vert x \Vert_2 = 1} (Ax, Ax)_2 = \sup_{\Vert x \Vert_2 = 1} (x, \bar{A}^{T}Ax)_2 .\] Wegen (1) ist $\bar{A}^{T}A$ hermitesch und positiv semidefinit, d.h. es ex. $U \in \mathbb{K}^{n \times n}$ mit $U$ unitär und $U^{T}\bar{A}^{T}AU = D$, wobei $D = \text{diag}(\lambda_1, \ldots, \lambda_n)$, $\lambda \in \sigma(\bar{A}^{T}A)$ und $\lambda_i \ge 0$ reell. Sei $y = \bar{U}^{T}x = U^{-1}x \implies x = Uy$. Damit folgt mit $|\lambda_{max}| \coloneqq \max \{ |\lambda_i| \mid \lambda_i \in \sigma(\bar{A}^{T}A)\} $ \begin{align*} \Vert A \Vert_2^2 &= \sup_{\Vert x \Vert_2 = 1} (x, \bar{A}^{T}Ax)_2 \\ &= \sup_{\Vert Uy \Vert_2 = 1} (\underbrace{Uy}_{= x}, \bar{A}^{T}A\underbrace{Uy}_{= x})_2 \\ &= \sup_{\Vert y \Vert_2 = 1} (y, \underbrace{\bar{U}^{T}\bar{A}^{T}AU}_{= D}y)_2 \\ &= \sup_{\Vert y \Vert_2 = 1} (y, Dy)_2 \\ &= \sup_{\Vert y \Vert_2 = 1} (\underbrace{\lambda_1 |y_1|^2 + \ldots + \lambda_n |y_n|^2} _{= \sum_{i=1}^{n} \lambda_i |y_i|^2}) \\ &\le \sup_{\Vert y \Vert_2 = 1} \sum_{i=1}^{n} |\lambda_{max}| |y_i|^2 \\ &= |\lambda_{max}| \sup_{\Vert y \Vert_2 = 1} \Vert y \Vert_2^2 \\ &= |\lambda_{max}| .\end{align*} Sei $y$ Eigenvektor zu $\lambda_{max}$ und $\Vert y \Vert_2 = 1$. Dann gilt $Dy = \lambda_{max}y$, also $(y, Dy)_2 = \lambda_{max}\underbrace{(y,y)_2}_{= 1}$. Damit existiert ein $y$, s.d. $(y, Dy)_2 = \lambda_{max}$. % ???? Also folgt $\displaystyle \sup_{\Vert y \Vert_2 = 1}(y, Dy)_2 = \lambda_{max}$. Damit folgt die Behauptung für $A \in \mathbb{K}^{n \times n}$. Behauptung für $A$ hermitesch analog. % ??????? \end{enumerate} \end{proof} \begin{definition}[orthonormale/unitäre Matrizen] Eine Matrix $Q\in \K^{m\times n}$ heißt \textbf{orthonormal}, wenn ihre Spaltenvektoren ein Orthonormalsystem im $\K^m$ bilden, d.h. $$Q = (q_1, \dots, q_n)\qquad q_j \in \K^m$$ $$(q_i, q_j)_2 = \sum_{k = 1}^{m} q_{ik}\cdot \overline{q_{kj}} = \begin{cases} 1, &i =j\\ 0, &\text{sonst} \end{cases}$$ Falls $m =n$ heißt $Q$ unitär. \end{definition} \begin{lemma} Sei $Q\in \K^{n\times n}$ unitär. Dann ist $Q$ regulär, $Q^{-1} = \overline{Q}^T$ und $(Qx, Qy)_2 = (x,y)_2,\; x,y\in \K^n$ $$\norm{Qx}_2 = \norm{x}_2, \; x\in \K^n$$ d.h. euklidisches Skalarproukt und euklidische Norm sind invariant unter unitären Transformationen und folglich $\norm{Q}_2 = \norm{Q^{-1}}_2 = 1$ \end{lemma} \begin{proof} \begin{enumerate} \item Z.Z. $Q^{-1} = \overline{Q}^T$\\ Sei $Q = (q_1, \dots, q_n), \overline{Q}^T = \begin{pmatrix} \overline{q}_1^T\\ \vdots\\ \overline{q}_n^T \end{pmatrix}$. Dann gilt $$\overline{Q}^T \cdot Q = \begin{pmatrix} \overline{q}_1^T \cdot q_1 & \dots & \overline{q}_1^T \cdot q_n\\ \vdots & \ddots & \vdots\\ \overline{q}_n^T \cdot q_1 & \dots & \overline{q}_n^T \cdot q_n \end{pmatrix} \overset{Q \text{ unitär}}{=} \begin{pmatrix} 1 & & 0\\ & \ddots & \\ 0 & & 1 \end{pmatrix}$$ \item \begin{align*} (Qx, Qy)_2 &= (x, \overline{Q}^TQ y)_2 = (x,y)_2\\ \norm{Qx}_2^2 &= (Qx, Qx)_2 = (x,x)_2 = \norm{x}_2^2\\ \norm{Q}_2 &= \sup\limits_{\norm{x}_2 =1} \norm{Qx}_2 = \sup\limits_{\norm{x}_2 =1} \norm{x}_2 = 1\\ \norm{Q^{-1}}_2 &= \sup\limits_{\norm{x}_2 =1} \norm{Q^{-1}x}_2 = \sup\limits_{\norm{x}_2 =1} \norm{QQ^{-1}x}_2 = \sup\limits_{\norm{x}_2 =1} \norm{x}_2 = 1 \end{align*} \end{enumerate} \end{proof} \end{document}