\documentclass{lecture}
\begin{document}
\newcommand{\pdv}[2]{\frac{\partial #1}{\partial #2}}
\newcommand{\dv}[2]{\frac{\d #1}{\d #2}}

\section{Mittelwertsatz}
\begin{bem}
	Reminder:
	\begin{enumerate}[(1)]
		\item 	Ist $f: [a,b] \to \R$ differenzierbar, dann gilt (HDI):
				\begin{salign*}
					f(x+h) - f(x) = \int_{0}^{1} \dv{}{s} f(x+sh) \d{s} &\stackrel{\text{Kettenregel}}{=}  \int_{0}^{1} f'(x+sh) \cdot h \d{s} \\ &= \left( \int_{0}^{1} f'(x+sh) \d{s} \right) \cdot h.
				\end{salign*}
		\item 	Mittelwertsatz der Differentialrechnung: $\exists \tau \in (0,1)$ sodass:
				\begin{salign*}
					f(x+h) - f(x) = f'(x+ \tau h) \cdot h.
				\end{salign*}
		\item 	Sei $A = \left(a_{i,j} \right)_{i,j = 1}^{m,n} : [a,b] \to \R^{m \times n}$. Dann sei:
				\begin{salign*}
					\int_{a}^{b} A(s) \d{s} \coloneqq \left( \int_{a}^{b} a_{i,j}(s) \d{s} \right)_{i,j=1}^{m,n}
				\end{salign*}
	\end{enumerate}
\end{bem}
\begin{satz}[Mittelwertsatz]
	Seien $D \subset \R^{n}$ offen, $f: D \to \R$ stetig differenzierbar, sei $x \in D$ und $h \in \R^{n}$ sodass $x + sh \in D$, für $s \in [0,1]$. Dann gilt:
	\begin{salign*}
		f(x+h) - f(h) = \left( \int_{0}^{1} \nabla f(x+sh) \d{s}, h \right)_{2} = \left( \int_{0}^{1} \nabla f(x+sh) \d{s}\right)^{T} \cdot h.
	\end{salign*}	 	
	Sei $f: D \to \R^{m}$ stetig differenzierbar, mit Jacobi-Matrix $J_{f}(x)$, dann gilt:
	\begin{salign*}
		f(x+h) - f(h) = \left( \int_{0}^{1} J_{f}(x + sh) \d{s} \right) h.
	\end{salign*}
\end{satz}
\begin{proof}
	Sei $f: D \to \R^{m}$. Sei $g_{j}: [0,1] \to \R ,\ g_{j}(s) \coloneqq f_{j}(x+sh)$. Dann gilt:
	\begin{salign*}
		f_{j}(x+h) - f_{j}(x) = g_{j}(1) - g_{j}(0) & \overset{\text{HDI}}{=} \int_{0}^{1} g_{j}'(s) \d{s} \overset{\text{Kettenregel}}{=} \int_{0}^{1} \sum_{i=1}^{n} \pdv{f_j}{x_{i}}(x+sh) \cdot h_{i} \d{s}.
	\end{salign*}
	Ist $m = 1$, so gilt:
	\begin{salign*}
		f(x+h) - f(x) &= \int_{0}^{1} \sum_{i=1}^{n} \pdv{f}{x_{i}}(x+sh) \d{s} \cdot h_{i} = \sum_{i=1}^{n} \left( \int_{0}^{1} \pdv{f}{x_{i}}(x+sh) \d{s} \right) \cdot h_{i} \\ &= \left( \int_{0}^{1} \nabla f(x+sh) \d{s}, h\right)_{2}
	\end{salign*}
	Ist $m \geq 2$, so gilt analog zu oben:
	\begin{salign*}
		f(x+h) - f(x) = \left( \int_{0}^{1} J_{f}(x+sh) \d{s} \right) \cdot h.
	\end{salign*}
\end{proof}
\begin{bem}
	Für $m = 1$, d.h. $f: \R^{n} \supset D \to \R$ gilt sogar für ein bestimmtes $\tau \in (0,1)$:
	\begin{salign*}
		f(x+h) - f(x) = \int_{0}^{1} \left( \nabla^{T} f(x+sh) \cdot h \right)\d{s} = \nabla^{T} f(x+\tau h) \cdot h.
	\end{salign*}
	Für $m \geq 2$ im Allgemeinen aber nicht (da $\tau \in [0,1]$ nicht für alle Komponenten gleich gewählt werden kann):
	\begin{salign*}
		f(x+h) - f(x) \neq J_{f}(x + \tau h) \cdot h.
	\end{salign*}
\end{bem}
\begin{lemma} 
	Seien $v: [a,b] \to \R^{n}$ und $A: [a,b] \to \R^{m \times n}$ stetig. Dann gilt:
	\begin{salign*}
		\norm{\int_{a}^{b} v(s) \d{s} }_{2} \leq \int_{a}^{b} \norm{v(s)}_{2} \d{s}, && \norm{\int_{a}^{b} A(s) \d{s} }_{2} \leq \int_{a}^{b} \norm{A(s)}_{2} \d{s}
	\end{salign*}
\end{lemma}
\begin{proof}
	Sei $u \in \R^{n}$, $u = \int_{a}^{b} v(s) \d{s} = \begin{pmatrix}
            \int_{a}^{b} v_{1}(s) \d{s} \\ \vdots \\ \int_{a}^{b} v_{n}(s) \d{s}
        \end{pmatrix}$ und $K = \norm{u}_{2}$. Dann gilt:
        \begin{salign*}
        		K^{2} &\stackrel{\ell_{2} \text{Norm}}{=} \left(u,u\right)_{2} = \left( \int_{a}^{b} v(s) \d{s}, u\right)_{2} = \int_{a}^{b} \left(v(s), u\right)_{2} \d{s} \\
        		&\stackrel{\text{CSU}}{\leq} \int_{a}^{b} \norm{v(s)}_{2} \cdot \norm{u}_{2} \d{s} = K \cdot \int_{a}^{b} \norm{v(s)}_{2} \d{s} \\ \hfill \\
        		\implies \ & K = \norm{\int_{a}^{b} v(s) \d{s} }_{2} \leq \int_{a}^{b} \norm{v(s)}_{2} \d{s}.
        \end{salign*}
        Der Beweis für $A(s)$ folgt ganz analog mit $u = \int_{a}^{b} A(s) \d{s} \in \R^{m \times n}$. 
\end{proof}
\begin{definition}
	$D \subset \mathbb{K}^{n}$ heißt \underline{konvex}, genau dann wenn: für alle $x,x' \in D$ und für alle $\lambda \in [0,1]$ gilt $\lambda \cdot x + (1-\lambda)x' \in D$. \\
	Geometrisch: Für zwei Punkte in $D$ liegt die Verbindungsstrecke der beiden Punkte stets ganz in $D$.
\end{definition}
\begin{korrolar}
	Seien $D \subset \R^{n}$ offen, $f: D \to \R^{m}$ stetig differenzierbar. Sei $x \in D$ und $\varepsilon > 0$ sodass $K_{\varepsilon}(x) \subset D$. Dann gilt:
	\begin{salign*}
		\norm{f(y) - f(x)}_{2} \leq M \cdot \norm{y-x}_{2} \ \ \ \ \ \forall y \in K_{\varepsilon}
	\end{salign*}
	mit $M \coloneqq \sup_{z \in K_{\varepsilon}(x)} \norm{J_{f}(z)}_{2}$, das heißt $f$ ist lokal Lipschitz-stetig. \\
	Sei $D$ konvex, dann gilt 
	\begin{salign*}
		\norm{f(y) - f(x)}_{2} \leq M \cdot \norm{y-x}_{2} \ \ \ \ \ \forall x,y \in D
	\end{salign*}
	mit $M \coloneqq \sup_{z \in D} \norm{J_{f}(z)}_{2}$, das heißt $f$ ist auf $D$ Lipschitz-stetig.
\end{korrolar}
\begin{proof}
	Aus obigem Lemma folgt:
	\begin{salign*}
		\norm{\int_{0}^{1} J_{f}(x+sh) h \d{s} }_{2} &\leq \int_{0}^{1} \norm{J_{f}(x+sh)}_{2} \norm{h}_{2} \d{s} \\ & \leq \int_{0}^{1} \norm{J_{f}(x+sh)}_{2} \norm{h}_{2} \d{s} \leq \sup_{0<s<1} \norm{J_{f}(x+sh)}_{2} \cdot \norm{h}_{2} \\ \hfill \\ \implies \ & \norm{f(x+h) - f(x)}_{2} = \norm{\int_{0}^{1} J_{f}(x+sh)h \d{s}}_{2} \leq M \cdot \norm{x+h-x}_{2}.
	\end{salign*}
	Sei $D$ nun konvex. Für $x,y \in D$ gilt dann: $$z = ty + (1-t)x = x + t(y-x) \in D, \ \ \ \ \ t \in [0,1].$$
	Sei $g(t) \coloneqq f(x+ t(x-y))$ für $t \in [0,1]$. Dann gilt für $i \in \{1,...,m\}$:
	\begin{salign*}
		f_{i}(y) - f_{i}(x) = g_{i}(1) - g_{i}(0) = \int_{0}^{1} g_{i}'(s) \d{s} = \int_{0}^{1} \sum_{j=1}^{n} \pdv{f_{i}(x+s(y-x))}{x_{j}}(y_{j}-x_{j}) \d{s}.
	\end{salign*}
	Und damit in Vektorform:
	\begin{salign*}
		\norm{f(y) - f(x)}_{2} &= \norm{\int_{0}^{1} J_{f}(x+s(y-x)) \cdot (y-x) \d{s}}_{2} \\ 
		&\stackrel{\text{Lemma}}{\leq} \int_{0}^{1} \norm{J_{f}(x+s(y-x)) \cdot (y-x)}_{2} \d{s} \\
		&\leq \ \ \ \ \int_{0}^{1} \norm{J_{f}(x+s(y-x))}_{2} \cdot \norm{y-x}_{2} \d{s} \\ 
		&\leq \ \ \ \sup_{0<s<1} \norm{J_{f}(x+s(y-x))}_{2} \cdot \norm{y-x}_{2} \\
		&\stackrel{D \ \text{konvex}}{\leq} \sup_{z \in D} \norm{J_{f}(z)}_{2} \cdot \norm{y-x}_{2} = M \cdot \norm{y-x}_{2}.
	\end{salign*}	
\end{proof}
\begin{bem}
	Obige Lipschitz-Konstante liefert eine Abschätzung für die Ableitungen / Jacobi-Matrix von $f$. 
\end{bem}

\section{Taylor-Entwicklung}
\begin{bem}
	Reminder - Höhere Ableitungen:
	\begin{enumerate}[(1)]
		\item 	Sei $D \subset \R^{n}$ offen, $f: D \to \R^{m}$ partiell differenzierbar. Seien alle partiellen Ableitungen $$\partial_{i}f: D \to \R^{m}, \ \partial_{i}f = \begin{pmatrix}
			\partial_{i} f_{1} \\ \vdots \\ \partial_{i}f_{m}
		\end{pmatrix}, \ \ \ \partial_{i}f = \pdv{}{x_{i}} f$$ wieder partiell differenzierbar. Dann ist $f$ zweimal differenzierbar auf $D$ \ (mit Ableitungen $\partial_{j}\partial_{i}f, \ i,j \in \{1,...,n\}$). \\ Allgemein: (induktiv) $f: D \to \R^{m}$ ist $(k+1)$-mal partiell differenzierbar, wenn $f$ $k$-mal partiell differenzierbar ist und alle partiellen Ableitungen $k$-ter Ordnung $\partial_{i_{k}}\partial_{i_{k-1}}...\partial_{i_{1}}$ \ ($i_{k-1},...,i_{1} \in \{1,...,n\}$) partiell differenzierbar sind.
		\item 	$f: D \to \R^{m}$ ist $k$-mal stetig partiell differenzierbar, wenn $f$ \ $k$-mal differenzierbar ist und alle partiellen Ableitungen der $k$-ten Ordnung stetig sind ($f \in C^{k}(D,\R^{m})$).
		\item 	Es gilt:
				\begin{salign*}
					f \in C^{1}(D,\R^{m}) \ \ \ &\Longleftrightarrow \ \ \ \partial_{i}f: D \to \R^{m} \ \text{ist stetig} \ \forall i \in \{1,...,n\} \\
					&\Longleftrightarrow \ \ \ \partial_{i}f_{k}: D \to \R \ \text{ist stetig} \ \forall i \in \{1,...,n\}, k \in \{1,...,m\} \\
					&\Longleftrightarrow \ \ \ f \ \text{ist total differenzierbar in} \ D \ \text{und} \ x \mapsto J_{f}(x) = (\partial_{i}f_{k})_{i,k} \ \text{stetig}
				\end{salign*}
		\item 	Ist $f \in C^{k}(D,\R^{m})$, dann sind die Ableitungen der $k-1$-ten Ordnung $\partial_{i_{k-1}}...\partial_{i_{1}}f: D \to \R^{m}$ total differenzierbar, weil stetig partiell differenzierbar. Also ist $\partial_{i_{k-1}}...\partial_{i_{1}}f$ stetig und damit sind also alle Ableitungen $k-1$-ter Ordnung stetig. Ananolg folgt induktiv, dass alle Ableitungen $j$-ter Ordnung mit $j\leq k$ stetig auf $D$ sind.
		\item 	Seien $D \subset \R^{n}$ offen, $f: D \to \R^{m}$. Existieren $\partial_{i}f, \partial_{j}f$ und $\partial_{j}\partial_{i}f$ auf $D$ \ ($i,j \in \{1,...,n\}$) \ und $\partial_{j}\partial_{i}f$ stetig in $a \in D$. Dann existiert $\partial_{i}\partial_{j}f$ und es gilt $$ \partial_{i}\partial_{j}f(a) = \partial_{j}\partial_{i}f(a).$$
		\item 	Seien $D \subset \R^{n}$ und $f \in C^{k}(D, \R^{m})$. Sei $\pi \in \mathcal{S}_{k}$ eine Permutation, dann gilt: $$ \partial_{i_{k}}...\partial_{i_{1}}f = \partial_{i_{\pi(k)}}...\partial_{i_{\pi(1)}}f, \ \ \ \ \ \ \ \forall i_{1},...,i_{k} \in \{1,...,n\}.$$
	\end{enumerate}
	Reminder - Taylor-Entwicklung in $\R$:
	\begin{enumerate}[(1)]
		\item 	Sei $f: (a,b) \to \R$ \ $r$-mal stetig differenzierbar. Dann gilt:
				\begin{salign*}
					f(x+h) = \sum_{k=0}^{r}  \frac{f^{(k)}(x)}{k!} h^{k} + R_{r+1}^{f}(x,h).
				\end{salign*}
		\item 	Für das Restglied in Lagrange-Form gilt ($\theta \in (0,1)$):
				\begin{salign*}
					R_{r+1}^{f}(x,h) = \frac{f^{(r+1)}(x+\theta h) }{(r+1)!} h^{\theta + 1}.
				\end{salign*}
		\item 	Für das Restglied in Integral-Form:
				\begin{salign*}
					R_{r+1}^{f}(x,h) = \frac{h^{r+1}}{r!} \int_{0}^{1} f^{(r+1)}(x+th)(1-t)^{r} \d{t}
				\end{salign*}
	\end{enumerate}
\end{bem}
\end{document}