now really added ana13.tex and .pdf xD

ana13.tex

@@ -0,0 +1,148 @@
+\documentclass{lecture}
+\begin{document}
+\newcommand{\pdv}[2]{\frac{\partial #1}{\partial #2}}
+\newcommand{\dv}[2]{\frac{\d #1}{\d #2}}
+
+\section{Mittelwertsatz}
+\begin{bem}
+	Reminder:
+	\begin{enumerate}[(1)]
+		\item 	Ist $f: [a,b] \to \R$ differenzierbar, dann gilt (HDI):
+				\begin{salign*}
+					f(x+h) - f(x) = \int_{0}^{1} \dv{}{s} f(x+sh) \d{s} &\stackrel{\text{Kettenregel}}{=}  \int_{0}^{1} f'(x+sh) \cdot h \d{s} \\ &= \left( \int_{0}^{1} f'(x+sh) \d{x} \right) \cdot h.
+				\end{salign*}
+.		\item 	Mittelwertsatz der Differentialrechnung: $\exists \tau \in (0,1)$ sodass:
+				\begin{salign*}
+					f(x+h) - f(x) = f'(x+ \tau h) \cdot h.
+				\end{salign*}
+		\item 	Sei $A = \left(a_{i,j} \right)_{i,j = 1}^{m,n} : [a,b] \to \R^{m \times n}$. Dann sei:
+				\begin{salign*}
+					\int_{a}^{b} A(s) \d{s} \coloneqq \left( \int_{a}^{b} a_{i,j}(s) \d{s} \right)_{i,j=1}^{m,n}
+				\end{salign*}
+	\end{enumerate}
+\end{bem}
+\begin{satz}[Mittelwertsatz]
+	Seien $D \in \R^{n}$ offen, $f: D \to \R$ stetig differenzierbar, sei $x \in D$ und $h \in \R^{n}$ sodass $x + sh \in D$, für $s \in [0,1]$. Dann gilt:
+	\begin{salign*}
+		f(x+h) - f(h) = \left( \int_{0}^{1} \nabla f(x+sh) \d{s}, h \right)_{2} = \left( \int_{0}^{1} \nabla f(x+sh) \d{s}\right)^{T} \cdot h.
+	\end{salign*}	 	
+	Sei $f: D \to \R^{m}$ stetig differenzierbar, mit Jacobi-Matrix $J_{f}(x)$, dann gilt:
+	\begin{salign*}
+		f(x+h) - f(h) = \left( \int_{0}^{1} J_{f}(x + sh) \d{s} \right) h.
+	\end{salign*}
+\end{satz}
+\begin{proof}
+	Sei $f: D \to \R^{m}$. Sei $g_{j}: [0,1] \to \R ,g_{j}(s) \coloneqq f_{j}(x+sh)$. Dann gilt:
+	\begin{salign*}
+		f_{j}(x+h) - f_{j}(x) = g_{j}(1) - g_{j}(0) & \ \ \stackrel{\text{MWS}}{=} \ \ \int_{0}^{1} g_{j}'(s) \d{s}  \ \ \ \ \stackrel{\text{Kettenregel}}{=} \ \ \ \ \int_{0}^{1} \sum_{i=1}^{n} \pdv{f}{x_{i}}(x+sh) \cdot h_{i} \d{s}.
+	\end{salign*}
+	Ist $m = 1$, so gilt:
+	\begin{salign*}
+		f(x+h) - f(x) &= \int_{0}^{1} \sum_{i=1}^{n} \pdv{f}{x_{i}}(x+sh) \d{s} \cdot h_{i} = \sum_{i=1}^{n} \left( \int_{0}^{1} \pdv{f_{i}}{x_{i}}(x+sh) \d{s} \right) \cdot h_{i} \\ &= \left( \int_{0}^{1} \nabla f(x+sh) \d{s}, h\right)_{2}
+	\end{salign*}
+	Ist $m \geq 2$, so gilt analog zu oben:
+	\begin{salign*}
+		f(x+h) - f(x) = \left( \int_{0}^{1} J_{f}(x+sh) \d{s} \right) \cdot h.
+	\end{salign*}
+\end{proof}
+\begin{bem}
+	Für $m = 1$, d.h. $f: \R^{n} \supset D \to \R$ gilt sogar für ein bestimmtest $\tau \in (0,1)$:
+	\begin{salign*}
+		f(x+h) - f(x) = \int_{0}^{1} \left( \nabla^{T} f(x+sh) \cdot h \right)\d{s} = \nabla^{T} f(x+\tau h) \cdot h.
+	\end{salign*}
+	Für $m \geq 2$ im Allgemeinen aber (da $\tau \in [0,1]$ nicht für alle Komponenten gleich gewählt werden kann):
+	\begin{salign*}
+		f(x+h) - f(x) \neq J_{f}(x + \tau h) \cdot h.
+	\end{salign*}
+\end{bem}
+\begin{lemma} 
+	Seien $v: [a,b] \to \R^{n}$ und $A: [a,b] \to \R^{m \times n}$ stetig. Dann gilt:
+	\begin{salign*}
+		\norm{\int_{a}^{b} v(s) \d{s} }_{2} \leq \int_{a}^{b} \norm{v(s)}_{2} \d{s}, && \norm{\int_{a}^{b} A(s) \d{s} }_{2} \leq \int_{a}^{b} \norm{A(s)}_{2} \d{s}
+	\end{salign*}
+\end{lemma}
+\begin{proof}
+	Sei $u \in \R^{n}$, $u = \int_{a}^{b} v(s) \d{s} = \begin{pmatrix}
+            \int_{a}^{b} v_{1}(s) \d{s} \\ \vdots \\ \int_{a}^{b} v_{n}(s) \d{s}
+        \end{pmatrix}$ und $K = \norm{u}_{2}$. Dann gilt:
+        \begin{salign*}
+        		K^{2} &\stackrel{\ell_{2} \text{Norm}}{=} \left(u,u\right)_{2} = \left( \int_{a}^{b} v(s) \d{s}, u\right)_{2} = \int_{a}^{b} \left(v(s), u\right)_{2} \d{s} \\
+        		&\stackrel{\text{CSU}}{\leq} \int_{a}^{b} \norm{v(s)}_{2} \cdot \norm{u}_{2} \d{s} = K \cdot \int_{a}^{b} \norm{v(s)}_{2} \d{s} \\ \hfill \\
+        		\implies \ & K = \norm{\int_{a}^{b} v(s) \d{s} }_{2} \leq \int_{a}^{b} \norm{v(s)}_{2} \d{s}.
+        \end{salign*}
+        Der Beweis für $A(s)$ folgt ganz analog mit $u = \int_{a}^{b} A(s) \d{s} \in \R^{m \times n}$. 
+\end{proof}
+\begin{definition}
+	$D \subset \mathbb{K}^{n}$ heißt \underline{konvex}, genau dann wenn: für alle $x,x' \in D$ und für alle $\lambda \in [0,1]$ gilt $\lambda \cdot x + (1-\lambda)x' \in D$. \\
+	Geometrische: für zwei Punkte in $D$ liegt die Verbindungsstrecke der beiden Punkte stets ganz in $D$.
+\end{definition}
+\begin{korrolar}
+	Seien $D \subset \R^{n}$ offen, $f: D \to \R^{n}$ stetig differenzierbar. Sei $x \in D$ und $\varepsilon > 0$ sodass $K_{\varepsilon}(x) \subset D$. Dann gilt:
+	\begin{salign*}
+		\norm{f(y) - f(x)}_{2} \leq M \cdot \norm{y-x}_{2} \ \ \ \ \ \forall y \in K_{\varepsilon}
+	\end{salign*}
+	mit $M \coloneqq \sup_{z \in K_{\varepsilon}(x)} \norm{J_{f}(z)}_{2}$, das heißt $f$ ist lokal Lipschitz-stetig. \\
+	Sei $D$ konvex, dann gilt 
+	\begin{salign*}
+		\norm{f(y) - f(x)}_{2} \leq M \cdot \norm{y-x}_{2} \ \ \ \ \ \forall x,y \in K_{\varepsilon}
+	\end{salign*}
+	mit $M \coloneqq \sup_{z \in D} \norm{J_{f}(z)}_{2}$, das heißt $f$ ist auf $D$ Lipschitz-stetig.
+\end{korrolar}
+\begin{proof}
+	Aus obigem Lemma folgt:
+	\begin{salign*}
+		\norm{\int_{0}^{2} J_{f}(x+sh) h \d{s} }_{2} &\leq \int_{0}^{1} \norm{J_{f}(x+sh)}_{2} \norm{h}_{2} \d{s} \\ & \leq \int_{0}^{1} \norm{J_{f}(x+sh)}_{2} \norm{h}_{2} \d{s} \leq \sup_{0<s<1} \norm{J_{f}(x+sh)}_{2} \cdot \norm{h}_{2} \\ \hfill \\ \implies \ & \norm{f(x+h) - f(x)}_{2} = \norm{\int_{0}^{1} J_{f}(x+sh)h \d{s}}_{2} \leq M \cdot \norm{x+h-x}_{2}.
+	\end{salign*}
+	Sei $D$ nun konvex. Für $x,y \in D$ gilt dann: $$z = ty + (1-t)x = x + t(y-x) \in D, \ \ \ \ \ t \in [0,1].$$
+	Sei $g(t) \coloneqq f(x+ t(x-y))$ für $t \in [0,1]$. Dann gilt für $i \in \{1,...,m\}$:
+	\begin{salign*}
+		f_{i}(y) - f_{i}(x) = g_{i}(1) - g_{i}(0) = \int_{0}^{1} g_{i}'(s) \d{s} = \int_{0}^{1} \sum_{j=1}^{n} \pdv{f_{i}(x+s(y-x))}{x_{j}}(y_{i}-x_{i}) \d{s}.
+	\end{salign*}
+	Und damit in Vektorform:
+	\begin{salign*}
+		\norm{f(y) - f(x)}_{2} &= \norm{\int_{0}^{1} J_{f}(x+s(y-x)) \cdot (y-x) \d{s}}_{2} \\ 
+		&\stackrel{\text{Lemma}}{\leq} \int_{0}^{1} \norm{J_{f}(x+s(y-x)) \cdot (y-x)}_{2} \d{s} \\
+		&\leq \ \ \ \ \int_{0}^{1} \norm{J_{f}(x+s(y-x))}_{2} \cdot \norm{y-x}_{2} \d{s} \\ 
+		&\leq \ \ \ \sup_{0<s<1} \norm{J_{f}(x+s(y-x))}_{2} \cdot \norm{y-x}_{2} \\
+		&\stackrel{D \ \text{konvex}}{\leq} \sup_{z \in D} \norm{J_{f}(z)}_{2} \cdot \norm{y-x}_{2} = M \cdot \norm{y-x}_{2}.
+	\end{salign*}	
+\end{proof}
+\begin{bem}
+	Obige Lipschitz-Konstante liefert eine Abschätzung für die Ableitungen/Jacobi-Matrix von $f$. 
+\end{bem}
+
+\section{Taylor-Entwicklung}
+\begin{bem}
+	Reminder - Höhere Ableitungen:
+	\begin{enumerate}[(1)]
+		\item 	Sei $D \subset \R^{n}$ offen, $f: D \to \R^{m}$ partiell differenzierbar. Seien alle partiellen Ableitungen $$\partial_{i}f: D \to \R^{m}, \ \partial_{i}f = \begin{pmatrix}
+			\partial_{i} f_{1} \\ \vdots \\ \partial_{i}f_{m}
+		\end{pmatrix}, \ \ \ \partial_{i}f = \pdv{}{x_{i}} f$$ wieder partiell differenzierbar. Dann ist $f$ zweimal differenzierbar auf $D$ \ (mit Ableitungen $\partial_{j}\partial_{i}f, \ i,j \in \{1,...,n\}$). \\ Allgemein: (induktiv) $f: D \to \R^{m}$ ist $(k+1)$-mal partiell differenzierbar, wenn $f$ $k$-mal partiell differenzierbar ist und alle partiellen Ableitungen $k$-ter Ordnung $\partial_{i_{k}}\partial_{i_{k-1}}...\partial_{i_{1}}$ \ ($i_{k-1},...,i_{1} \in \{1,...,n\}$) partiell differenzierbar sind.
+		\item 	$f: D \to \R^{m}$ ist $k$-mal stetig partiell differenzierbar, wenn $f$ \ $k$-mal differenzierbar ist und alle partiellen Ableitungen der $k$-ten Ordnung stetig sind ($f \in C^{k}(D,\R^{m})$).
+		\item 	Es gilt:
+				\begin{salign*}
+					f \in C^{1}(D,\R^{m}) \ \ \ &\Longleftrightarrow \ \ \ \partial_{i}f: D \to \R^{m} \ \text{ist stetig} \ \forall i \in \{1,...,n\} \\
+					&\Longleftrightarrow \ \ \ \partial_{i}f_{k}: D \to \R \ \text{ist stetig} \ \forall i \in \{1,...,n\}, k \in \{1,...,m\} \\
+					&\Longleftrightarrow \ \ \ f \ \text{ist total differenzierbar in} \ D \ \text{und} \ x \mapsto J_{f}(x) = (\partial_{i}f_{k})_{i,k} \ \text{stetig}
+				\end{salign*}
+		\item 	Ist $f \in C^{k}(D,\R^{m})$, dann sind die Ableitungen der $k-1$-ten Ordnung $\partial_{i_{k-1}}...\partial_{i_{1}}f: D \to \R^{m}$ total differenzierbar, weil stetig partiell differenzierbar. Also ist $\partial_{i_{k-1}}...\partial_{i_{1}}f$ stetig und damit sind also alle Ableitungen $k-1$-ter Ordnung sind stetig. Ananolg folgt induktiv, dass alle Ableitungen $j$-ter Ordnung mit $j\leq k$ stetig auf $D$ sind.
+		\item 	Seien $D \subset \R^{m}$ offen, $f: D \to \R^{m}$. Existieren $\partial_{i}f, \partial_{j}f$ und $\partial_{j}\partial_{i}f$ auf $D$ \ ($i,j \in \{1,...,n\}$) \ und $\partial_{j}\partial_{i}f$ stetig in $a \in D$. Dann existiert $\partial_{i}\partial_{j}f$ und es gilt $$ \partial_{i}\partial_{j}f(a) = \partial_{j}\partial_{i}f(a).$$
+		\item 	Seien $D \subset \R^{m}$ und $f \in C^{k}(D, \R^{m})$. Sei $\pi \in \mathcal{S}_{k}$ eine Permutation, dann gilt: $$ \partial_{i_{k}}...\partial_{i_{1}}f = \partial_{i_{\pi(k)}}...\partial_{i_{\pi(1)}}f, \ \ \ \ \ \ \ \forall i_{1},...,i_{k} \in \{1,...,n\}.$$
+	\end{enumerate}
+	Reminder - Taylor-Entwicklung in $\R$:
+	\begin{enumerate}[(1)]
+		\item 	Sei $f: (a,b) \to \R$ \ $r$-mal stetig differenzierbar. Dann gilt:
+				\begin{salign*}
+					f(x+h) = \sum_{k=0}^{r}  \frac{f^{(k)}(x)}{k!} h^{k} + R_{r+1}^{f}(x,h).
+				\end{salign*}
+		\item 	Für das Restglied in Lagrange-Form gilt ($\theta \in (0,1)$):
+				\begin{salign*}
+					R_{r+1}^{f}(x,h) = \frac{f^{(r+1)}(x+\theta h) }{(r+1)!} h^{\theta + 1}.
+				\end{salign*}
+		\item 	Für das Restglied in Integral-Form:
+				\begin{salign*}
+					R_{r+1}^{f}(x,h) = \frac{h^{r+1}}{r!} \int_{0}^{1} f^{(r+1)}(x+th)(1-t)^{r} \d{t}
+				\end{salign*}
+	\end{enumerate}
+\end{bem}
+\end{document}