diff --git a/ana14.tex b/ana14.tex index a4f75c1..a224a59 100644 --- a/ana14.tex +++ b/ana14.tex @@ -9,6 +9,7 @@ Sei $D \subset \R^n$ offen, $f\colon D\to \R$. Ein Punkt $x\in D$ heißt lokales \underline{Minimum (Maximum)} von $f$, falls eine Umgebung $K_\delta(x)\subset \R^n$ existiert mit \[f(x)\leq f(y),\; \forall y\in K_\delta(x)\cap D\] ($f(x)\geq f(y),\; \forall y\in K_\delta(x)\cap D$). Falls \[f(x) < f(y), \forall y \in K_\delta(x)\cap D\setminus\{x\}\] ($f(x) > f(y)$), dann heißt $x$ \underline{striktes} lokales Minimum (Maximum). \end{definition} \begin{satz}[Notwendige Bedingung für lokales Extremum (Min oder Max)] + \label{satz:notwendig-extremum} Sei $D\subset \R^n$ offen, $f\colon D\to \R$ stetig differenzierbar und $x\in D$ ein lokales Extremum von $f$. Dann gilt : $\nabla f(x) = 0$. \end{satz} \begin{proof} @@ -170,6 +171,7 @@ Gesucht: Abbildung $f$, s.d. $y = f(x)$ mit $(x,f(x))$ löst \eqref{doublestar} Für $\mathunderline{blue}{x_0 =1,\; y_0 = 0}$ hingegen gibt es keine Umgebung von $x_0 = 1$, sodass \[\mathunderline{blue}{\exists f\colon U(x_0) \to \R\text{ mit }F(x,f(x)) = 0}.\] \end{bsp} \begin{satz}[Satz über implizite Funktionen] + \label{satz:sif} Sei $D^x \subset \R^n$ offen, $D^y \subset \R^m$ offen, $F^1 \in C^1 (D^x\times D^y,\R^m)$ (stetig differenzierbar) und $(\hat{x}, \hat{y})\in D^x\times D^y$ mit $F(\hat x, \hat y) = 0$. Die $m\times m$ Matrix \[ D_yF(x,y) =\begin{pmatrix} @@ -349,4 +351,4 @@ Fragestellung: Sei $f \colon D\subset \R^n \to \R^n$. Existiert die Umkehrabbild \item Es seien $U, V$ offene Mengen in $\R^n$ und $f\colon U\to V$ stetig differenzierbar.\\ $f$ heißt \underline{Diffeomorphismus}, falls $f$ bijektiv ist und die Umkehrabbildung $f^{-1}: V \to U$ stetig differenzierbar ist. \end{enumerate} \end{bem} -\end{document} \ No newline at end of file +\end{document} diff --git a/ana15.tex b/ana15.tex new file mode 100644 index 0000000..06b5e26 --- /dev/null +++ b/ana15.tex @@ -0,0 +1,157 @@ +\documentclass{lecture} + +\begin{document} + +\section{Extremalaufgaben mit Nebenbedingungen} + +Problemstellung: ,,Restringierte`` Optimierungsaufgabe mit Gleichungsnebenbedingungen. + +Sei $f\colon D \to \R$ und $g\colon D \to \R^{k}$, $D \subseteq \R^{n}$. +Wir suchen einen Punkt $\hat{x} \in D$, s.d. $\hat{x} \in S \coloneqq \{ x \in D \mid g(x) = 0\} $ und +$\exists U(\hat{x})$ s.d. $f(\hat{x}) \le f(x)$, $\forall x \in U(\hat{x}) \cap S$. \\ +Dann heißt $\hat{x}$ lokales Minimum unter Nebenbedingung $g(x) = 0$. Analog: lokales Maximum unter +Nebenbedingung $\hat{x} \in S$, s.d. $\exists U(\hat{x})$ mit $f(\hat{x}) \ge f(x)$ +$\forall x \in U(\hat{x}) \cap S$. + +\begin{satz}[Multiplikatorregel von Lagrange: Notwendige Bed. 1. Ordnung für lokales Minimum unter + Nebenbedingungen] + \label{satz:lagrange-mult} + Sei $D \subseteq \R^{n}$ offen, $f\colon D \to \R$ und $g\colon D \to \R^{k}$ partiell stetig + differenzierbar. Sei $\hat{x} \in D$ ein Extremum unter der Nebenbedingung + $g(x) = 0$ und die Gradienten $\nabla g_1(\hat{x}), \ldots, \nabla g_k(\hat{x})$ + seien linear unabhängig in $\R^{n}$. Dann gilt + \[ + \exists \hat{\lambda} = \begin{pmatrix} \hat{\lambda}_1 \\ \vdots \\ \hat{\lambda}_k \end{pmatrix} + \in \R^{k} \text{ mit } + \sum_{i=1}^{k} \hat{\lambda}_i \nabla g_i(\hat{x}) = \nabla f(\hat{x}) + (\iff \nabla g(\hat{x}) \hat{\lambda} = \nabla f(\hat{x})) + .\] + Die Zahlen $\hat{\lambda}_1, \ldots, \hat{\lambda}_k$ heißen \underline{Lagrange-Multiplikatoren}. +\end{satz} + +\begin{proof} + Nach Voraussetzungen gilt + \[ + \frac{\partial g_i(\hat{x})}{\partial x} = + \underbrace{\left( \frac{\partial g_i(\hat{x})}{\partial x_1}\ldots \frac{\partial g_i(\hat{x})}{\partial x_n} \right)}_{i = 1\ldots k, \text{linear unabhängige Vektoren}} + .\] Also hat $\frac{\partial g}{\partial x}(\hat{x}) \in \R^{k \times n}$ Rang $k$. + O.B.d.A. die ersten $k$ Spalten von $\frac{\partial g}{\partial x}(\hat{x})$ bilden + eine quadratische invertierbare Matrix. + Dann lassen sich $x$ und $\frac{\partial g}{\partial x}(\hat{x})$ aufspalten: + \[ + x = \begin{pmatrix} y \\ z \end{pmatrix} + \quad + \underbrace{\frac{\partial g}{\partial x}(\hat{x})}_{\in \R^{k \times n}} + = + \Big( \underbrace{\frac{\partial g}{\partial y}(\hat{x})}_{\in \R^{k \times k}} ; + \underbrace{\frac{\partial g}{\partial z}(\hat{x})}_{\in \R^{k \times (n-k)}} \Big) + .\] mit $y \in \R^{k}$, $z \in \R^{n-k}$ und + $\frac{\partial g}{\partial y}(\hat{x}) \in \R^{k \times k}$ regulär. + + Setze $\hat{x} = \begin{pmatrix} \hat{y} \\ \hat{z} \end{pmatrix}$. + Wende nun Satz \ref{satz:sif} auf $g(x) = g(y,z) = 0$ an. Dann existieren + Umgebungen $U(\hat{z}) \subseteq \R^{n-k} $, $U(\hat{y}) \subseteq \R^{k}$ und + eine eindeutige Abbildung + \begin{align*} + \varphi\colon U(\hat{z}) &\to U(\hat{y}) \\ + z &\mapsto \varphi(z) = y + , \end{align*} s.d. $\varphi$ folgende Eigenschaften erfüllt sind + \begin{enumerate}[(1)] + \item $g(\varphi(z), z) = 0$ $\forall z \in U(\hat{z})$ + \item $\hat{y} = \varphi(\hat{z})$ + \item $\varphi \in C^{1}\left( U(\hat{z}), \R^{k} \right) $ stetig differenzierbar. + \item $\underbrace{\varphi'(\hat{x})}_{D_x\varphi(\hat{x})} = + - \left(\frac{\partial g}{\partial y}(\hat{x})\right)^{-1} \cdot + \left( \frac{\partial g}{\partial z}(\hat{x}) \right)$ + \end{enumerate} + Betrachte $\tilde{f}(z) = f(\varphi(z), z)$, $\tilde{f}(z) \colon U(\hat{z}) \to \R$. Da + $\hat{x}$ Extremum von $f(x)$ unter $g(x) = 0$, ist $\hat{z}$ lokales Extremum von $\tilde{f}(z)$ in + $U(\hat{z})$. Mit \ref{satz:notwendig-extremum} folgt also $\forall i = 1 \ldots n-l$: + \begin{salign*} + 0 &= \frac{\partial \tilde{f}(\hat{z})}{\partial z_i} \\ + &\stackrel[\tilde{f} = f(\varphi(z), z)]{\text{Kettenregel}}{=} \frac{\partial f(\hat{x})}{\partial y} + \cdot \frac{\partial \varphi(\hat{z})}{z_i} + \frac{\partial f(\hat{x}) }{z_i} + \intertext{Damit folgt} + 0 &= \frac{\partial f(\hat{x})}{\partial y} \cdot \frac{\partial \varphi(\hat{z})}{\partial z} + + \frac{\partial f(\hat{x})}{\partial z} \qquad (*) + \intertext{Definiere} + \hat{\lambda}^{T} &= \underbrace{\frac{\partial f(\hat{x})}{\partial y}}_{\left(\frac{\partial f}{\partial y_1} \ldots \frac{\partial f}{\partial y_k}\right)} + \cdot \left( \frac{\partial g}{\partial y}(\hat{x}) \right)^{-1} + \intertext{Damit folgt} + \frac{\partial f(\hat{x})}{\partial y} &= \hat{\lambda}^{T} \left( \frac{\partial g}{\partial y}(\hat{x}) \right) + .\end{salign*} + Mit $(*)$ folgt + \begin{salign*} + \frac{\partial f(\hat{x})}{\partial y} \left( - + \left( \frac{\partial g(\hat{x})}{\partial y} \right)^{-1} + \frac{\partial g(\hat{x})}{\partial z}\right) + + \frac{\partial f(\hat{x})}{\partial z} + = - \hat{\lambda}^{T} \frac{\partial g(\hat{x})}{\partial z} + \frac{\partial f(\hat{x})}{\partial z} = 0 + .\end{salign*} + Insgesamt folgt + \begin{align*} + \begin{rcases} + \frac{\partial f(\hat{x})}{\partial y} = \hat{\lambda}^{T} \frac{\partial g}{\partial y}(\hat{x}) \\ + \frac{\partial f(\hat{x})}{\partial z} = \hat{\lambda}^{T} \frac{\partial g}{\partial z}(\hat{x}) + \end{rcases} + \implies + \frac{\partial f(\hat{x})}{\partial x} = \hat{\lambda}^{T} \frac{\partial g(\hat{x})}{\partial x} + .\end{align*} +\end{proof} + +\begin{bem}[Interpretation von Satz \ref{satz:lagrange-mult}] + Definiere Lagrange-Funktion + \[ + \mathcal{L}(x, \lambda) \coloneqq f(x) - \lambda^{T}g(x), \quad (x, \lambda) \in D \times \R^{k} + .\] Falls $\hat{x}$ lokales Minimum von $f$ unter Nebenbedingung $g(x) = 0$ und + $\text{Rg}\left( \frac{\partial g(\hat{x})}{\partial x}\right) = k$. Dann ex. + genau ein $\hat{\lambda} \in \R^{k}$ s.d. $(\hat{x}, \hat{\lambda})$ ein stationärer Punkt + der Lagrange Funktion ist: + \begin{align*} + \nabla_x \mathcal{L}(\hat{x}, \hat{\lambda}) &= \nabla f(\hat{x}) - \nabla g(\hat{x}) \hat{\lambda} = 0 \\ + \nabla_\lambda \mathcal{L}(\hat{x}, \hat{\lambda}) &= g(\hat{x}) = 0 + .\end{align*} +\end{bem} + +\begin{bsp}[Anwendung von \ref{satz:lagrange-mult}] + Sei $A = (a_{ij})_{i,j=1}^{n} \in \R^{n \times n}$ eine symmetrische Matrix. Dann betrachte + \[ + f(x) \coloneqq (x, Ax)_2 = \sum_{i,j=1}^{n} a_{ij}x_ix_j + .\] Bestimme Extrema von $f(x)$ unter Nebenbedingungen $\Vert x \Vert = 1$. + + Definiere $g(x) = \Vert x \Vert_2^2 - 1$ und $S \coloneqq \{ x \in \R^{n} \mid g(x) = 0\} $. Dann + gilt für $x \in S$: $\nabla g(x) = 2x \neq 0$, da $\Vert x \Vert_2^2 = 1$. Für + $f(x) = \sum_{i=1}^{n} \sum_{j=1}^{n} a_{ij}x_ix_j$ gilt für $k = 1 \ldots n$: + \begin{salign*} + \frac{\partial f}{\partial x_k} &= \sum_{i=1}^{n} \sum_{j=1}^{n} a_{ij}\delta_{ik}x_j + + \sum_{i=1}^{n} \sum_{j=1}^{n} a_{ij}x_i \delta_{jk} \\ + &= \sum_{j=1}^{n} a_{kj} x_j + \sum_{i=1}^{n} a_{ik} x_i \\ + &\stackrel{a_{ij} = a_{ji}}{=} 2 \sum_{i=1}^{n} a_{ki}x_i + \intertext{Also folgt} + \nabla f(x) &= 2 A x + .\end{salign*} + Existiert ein $\hat{x}$? Da $S$ kompakt und $f$ stetig, nimmt $f$ (auf $S$) ein + Maximum und Minimum an. Nach Satz \ref{satz:lagrange-mult} ex. ein $\hat{\lambda} \in \R$, s.d. + \begin{alignat*}{3} + &&\quad \nabla f(\hat{x}) &= \hat{\lambda} \nabla g(\hat{x}) \\ + &\implies& 2 A \hat{x} &= \hat{\lambda} 2 \hat{x} \\ + &\implies& A \hat{x} &= \hat{\lambda} \hat{x} + .\end{alignat*} + Also ist $\hat{\lambda}$ Eigenwert von $A$ zum Eigenvektor $\hat{x}$. Damit folgt + \[ + f(\hat{x}) = (\hat{x}, A \hat{x})_2 = (\hat{x}, \hat{\lambda}\hat{x})_2 + = \hat{\lambda} \underbrace{\Vert \hat{x} \Vert_2^2}_{= 1} = \hat{\lambda} + .\] Das bedeutet, dass + \[ + \inf \{(x, Ax)_2 \mid \Vert x \Vert_2 = 1\} = f(\hat{x}) = \hat{\lambda} = \lambda_{\text{min}} + .\] Also folgt + \begin{align*} + \lambda_{\text{min}} &= \min_{\Vert x \Vert_2 = 1} \underbrace{x^{T} Ax}_{(x,Ax)_2} + = \min_{x \in \R^{n} \setminus \{0\} } \underbrace{\frac{x^{T}Ax}{\Vert x \Vert_{2}^2}} + _{\text{Rayley-Quotient}} \\ + \lambda_{\text{max}} &= \max_{x \in \R^{n} \setminus \{0\} } \frac{x^{T}Ax}{\Vert x \Vert_2^2} + .\end{align*} + $\lambda_{\text{min}}$ bzw. $\lambda_{\text{max}}$ sind der kleinste bzw. größte Eigenwert von $A$. +\end{bsp} + +\end{document} diff --git a/analysisII.pdf b/analysisII.pdf index e3758b5..e65db63 100644 Binary files a/analysisII.pdf and b/analysisII.pdf differ diff --git a/analysisII.tex b/analysisII.tex index 39ce882..b6b154d 100644 --- a/analysisII.tex +++ b/analysisII.tex @@ -37,5 +37,6 @@ Rui Yang (\href{mailto:rui.yang@stud.uni-heidelberg.de}{rui.yang@stud.uni-heidel \input{ana12.tex} \input{ana13.tex} \input{ana14.tex} +\input{ana15.tex} \end{document}