add wtheo5 ex 17 & 19

wtheo4.tex

@@ -68,7 +68,46 @@
     \end{enumerate}
 \end{aufgabe}
 
-\stepcounter{aufgabe}
+\begin{aufgabe}
+    \begin{enumerate}[(a)]
+        \item Wir benutzen den Dichtetransformationssatz. Es gilt $Y = h(X)$ mit $h(x) = -2 \log(x)$, also $h'(x) = -\frac{2}{x}$ und $h^{-1}(y) = e^{-\frac{1}{2}y}$. Wir benötigen noch die Identität
+        \[
+            \mathbbm{f}^X(e^{-\frac{1}{2}y}) = \begin{cases}
+                1 & 0 \leq e^{-\frac{1}{2}y} \leq 1\\
+                0 & \text{sonst}
+            \end{cases} = \begin{cases}
+                1 & y \geq 0\\
+                0 & y < 0
+            \end{cases}
+            = \mathbbm{1}_{\R_+}(y)
+        \]
+        Daher erhalten wir
+        \[
+            \mathbbm{f}^Y(y) = \frac{\mathbbm{f}^X(e^{-\frac{1}{2}y})}{\left|-\frac{2}{e^{-\frac{1}{2}y}}\right|} = \mathbbm{1}_{\R_+}(y) \frac{1}{2}e^{-\frac{1}{2}y} = \mathbbm{f}_{\text{Exp}_\frac{1}{2}}(y)
+        \]
+        \item Erneut können wir den Dichtetransformationssatz anwenden, da $Y = h(X)$ mit $h(x) = \alpha x$, also $h'(x) = \alpha$ und $h^{-1}(y) = \frac{1}{\alpha}y$. Daher erhalten wir
+        \[
+            \mathbbm{f}^Y(y) 
+            = \frac{\mathbbm{f}^X(\alpha^{-1}y)}{\left| h'(\alpha^{-1}y)\right|} = \frac{\mathbbm{f}^X(\alpha^{-1}y)}{\left| \alpha\right|}
+            = \mathbbm{1}_{[0,\infty]}(y) \cdot \frac{\lambda}{\alpha} \cdot e^{-\lambda \frac{y}{\alpha}} 
+            = \mathbbm{f}_{\text{Exp}_\frac{\lambda}{\alpha}}(y)
+        \]
+        \item Da $x^2$ nicht bijektiv ist, können wir den Dichtetransformationssatz nicht anwenden. Es gilt aber
+        \[
+            \int_0^y \mathbbm{f}^Y(y') \d{y'} 
+            = \mathbbm{F}^Y(y) 
+            = \mathbbm{P}^Y([0,y]) 
+            = \mathbbm{P}(Y^{-1}([0,y])) 
+            = \mathbbm{P}([-\sqrt{y}, \sqrt{y}]) 
+            = \int_{-\sqrt{y}}^{\sqrt{y}} \mathbbm{f}^X(x) \d{x} 
+            = \frac{1}{2}x \bigg|_{-\sqrt{y}}^{\sqrt{y}} = \sqrt{y}.
+        \]
+        Nach dem Haupsatz der Differenzial- und Integralrechnung gilt daher 
+        \[
+            \mathbbm{f}^Y(y) = \frac{\d{}}{\d{y}} \int_0^y \mathbbm{f}^Y(y') \d{y'} = \frac{\d{}}{\d{y}} \sqrt{y} = \frac{1}{2\sqrt{y}}
+        \]
+    \end{enumerate}
+\end{aufgabe}
 
 \begin{aufgabe}
     \begin{enumerate}[(a)]
@@ -150,4 +189,38 @@
     \end{enumerate}
 \end{aufgabe}
 
+\begin{aufgabe}
+    \begin{enumerate}[(a)]
+        \item Aufgrund der Normierungsbedingung muss gelten
+        \begin{align*}
+            1 &= \int_Y \int_X \mathbbm{f}^{X,Y}(x,y) \d{x}\d{y}\\
+            &= \int_Y \int_X C_\lambda e^{-\lambda y}\mathbbm{1}_{0\leq x\leq y} \d{x}\d{y}\\
+            &= \int_Y \int_0^y C_\lambda e^{-\lambda y}\mathbbm{1}_{0\leq y} \d{x}\d{y}\\
+            &= \int_Y C_\lambda \left[x \cdot e^{-\lambda y}\mathbbm{1}_{0\leq y}\right]_{x=0}^y \d{y}\\
+            &= \int_0^\infty C_\lambda y e^{-\lambda y} \d{y}\\
+            &= \left[-C_\lambda \frac{y}{\lambda}e^{-\lambda y}\right]_{y=0}^\infty - \int_0^infty -C_\lambda\frac{1}{\lambda} e^{-\lambda y}\d{y}\\
+            &= 0 - 0 + \left[-C_\lambda\frac{1}{\lambda^2}e^{-\lambda y}\right]_{y = 0}^\infty\\
+            &= 0 - (- C_\lambda\frac{1}{\lambda^2} e^0)\\
+            &= \frac{C_\lambda}{\lambda^2}
+        \end{align*}
+        Also gilt $C_\lambda = \lambda^2$.
+        \item Es gilt
+        \begin{equation*}
+            \mathbbm{f}^X(x) = \int_\R \mathbbm{f}^{X,Y}(x,y) \d{y} = \int_\R \lambda^2 e^{-\lambda y} \mathbbm{1}_{0\leq x\leq y} \d{y} = \int_x^\infty \lambda^2 e^{-\lambda y} \d{y} = \left[-\lambda e^{-\lambda y}\right]_x^\infty = \lambda e^{-\lambda x}
+        \end{equation*}
+        und
+        \begin{equation*}
+            \mathbbm{f}^Y(y) = \int_\R \mathbbm{f}^{X,Y}(x,y) \d{x} = \int_\R \lambda^2 e^{-\lambda y} \mathbbm{1}_{0\leq x\leq y} \d{x} = \int_0^y \lambda^2 e^{-\lambda y} \d{x} = \left[\lambda^2 e^{-\lambda y} x\right]_0^y = \lambda^2 y e^{-\lambda x}
+        \end{equation*}
+        \item Es gilt
+        \begin{equation*}
+            \mathbbm{P}(X \geq Y) = \int_0^\infty\int_y^\infty \mathbbm{f}^{X,Y}(x,y) \d{x}\d{y} = \int_0^\infty\int_y^\infty \lambda^2 e^{-\lambda y} \underbrace{\mathbbm{1}_{0\leq x \leq y}}_{=0} \d{x}\d{y} = 0
+        \end{equation*}
+        und
+        \begin{equation*}
+            \mathbbm{P}(2X \leq Y) = \int_0^\infty\int_0^{\frac{y}{2}} \mathbbm{f}^{X,Y}(x,y) \d{x}\d{y} = \int_0^\infty\int_0^{\frac{y}{2}} \lambda^2 e^{-\lambda y} \underbrace{\mathbbm{1}_{0\leq x \leq y}}_{=1} \d{x}\d{y} = \int_0^{\infty} \left[\lambda^2 e^{-\lambda y}x\right]_{x = 0}^{\frac{y}{2}} = \frac{1}{2}\int_0^\infty y\lambda^2 e^{-\lambda y} =\frac{1}{2}
+        \end{equation*}
+    \end{enumerate}
+\end{aufgabe}
+
 \end{document}

wtheo5.tex

@@ -0,0 +1,120 @@
+\documentclass[uebung]{../../../lecture}
+
+\title{Wtheo 0: Übungsblatt 5}
+\author{Josua Kugler, Christian Merten}
+\usepackage[]{bbm}
+
+\begin{document}
+
+\punkte[17]
+
+\begin{aufgabe}
+    Beh.: $\varphi = \mathbbm{1}_{A_k}$ mit $ k \in \R^{+}$ ist bester Test
+    zum Niveau $\mathbb{P}_0(A_k) \in [0,1]$.
+    \begin{proof}
+        Sei $\tilde{\varphi} = \mathbbm{1}_{\tilde{A}}$ ein Test zum Niveau $\mathbb{P}_0(A_k)$, d.h.
+        $\mathbb{P}_0(\tilde{\varphi} = 1) = \mathbb{P}_0(\tilde{A}) \le \mathbb{P}_{0}(A_k) =
+        \mathbb{P}_0(\varphi = 1)$ $(**)$.
+
+        Z.z.: $\mathbb{P}_1(\tilde{\varphi} = 0) = \mathbb{P}_1(\tilde{A}^{c}) \ge \mathbb{P}_1(A_k^{c}) =
+        \mathbb{P}_1(\varphi = 0)$.
+
+        Es ist $x \in A_{k} \iff \mathbbm{f}_1(x) - k \mathbbm{f}_0(x) \ge 0$, also
+        $x \in A_k^{c} \iff \mathbbm{f}_1(x) - k \mathbbm{f}_0(x) < 0$ $(*)$. Damit folgt
+        \begin{salign*}
+            \mathbb{P}_1(A_k) - k \mathbb{P}_0(A_k) &= \int_{A_k}^{} \left[ \mathbbm{f}_1(x) - k \mathbbm{f}_0(x) \right]  \d{x} \\
+            &\ge \int_{A_k \cap \tilde{A}}^{} \left[ \mathbbm{f}_1(x) - k \mathbbm{f}_0(x) \right]  \d{x} \\
+            &\ge \int_{A_k \cap \tilde{A}}^{} \left[ \mathbbm{f}_1(x) - k \mathbbm{f}_0(x) \right]  \d{x} 
+            + \int_{A_k^{c} \cap \tilde{A}}^{} \underbrace{\left[ \mathbbm{f}_1(x) - k \mathbbm{f}_0(x) \right]  }_{< 0 \; (*)}\d{x} \\
+            &= \int_{\tilde{A}}^{} \left[ \mathbbm{f}_1(x) - k \mathbbm{f}_0(x) \right]  \d{x} \\
+            &= \mathbb{P}_1(\tilde{A}) - k \mathbb{P}_0(\tilde{A})
+        .\end{salign*}
+        Also folgt
+        \[
+        \mathbb{P}_1(A_k) - \mathbb{P}_1(\tilde{A}) \ge k (\mathbb{P}_0(A_k) - \mathbb{P}_0(\tilde{A}))
+        \stackrel{\text{(**)}}{\ge } 0
+    .\] Es ist also $\mathbb{P}_1(A_k) \ge \mathbb{P}_1(\tilde{A})$, insgesamt
+    \[
+        \mathbb{P}_1(A_k^{c}) = 1 - \mathbb{P}_1(A_k) \le 1 - \mathbb{P}_1(\tilde{A})
+        = \mathbb{P}_1(\tilde{A}^{c})
+    .\] Also Fehler $2$. Art minimiert und damit $\varphi$ bester Test zum Niveau $\mathbb{P}_0(A_k)$.
+    \end{proof}
+\end{aufgabe}
+
+\stepcounter{aufgabe}
+
+\begin{aufgabe}[]
+    \begin{enumerate}[(a)]
+        \item Beh.: $\hat{\theta}_n(x) = (\overline{x}_n, \frac{1}{n} \sum_{i=1}^{n} (x_i - \overline{x}_n)^2)$.
+            \begin{proof}
+                Betrachte für $\sigma^2 > 0$:
+                \begin{salign*}
+                    L(x, \mu, \sigma^2) &= (2 \pi \sigma^2)^{-\frac{n}{2}} \exp\left( -\frac{1}{2\sigma^2}
+                    \sum_{i=1}^{n} (x_i - \mu)^2\right) \\
+                    l(x, \mu, \sigma^2) &= \log L \\
+                                        &= -\frac{1}{2 \sigma^2} \sum_{i=1}^{n} (x_i - \mu)^2
+                                        - \frac{n}{2} \log(2 \pi \sigma^2)
+                    \intertext{Es genügt die Maxima von $l = \log L$ zu betrachten, da der Logarithmus
+                    streng monoton wachsend ist. Betrachte den Gradienten bezüglich $\mu$ und $\sigma^2$:}
+                    \nabla l(x, \mu, \sigma^2) &= \begin{pmatrix} 
+                        \frac{1}{2 \sigma^2} \sum_{i=1}^{n} 2 (x_i - \mu) \\
+                        \frac{1}{2 \sigma ^{4}} \sum_{i=1}^{n} (x_i - \mu)^2 - \frac{n}{2} \frac{1}{\sigma^2}
+                    \end{pmatrix} 
+                        \stackrel{!}{=} 0
+                .\end{salign*}
+                Damit folgt
+                \[
+                    \frac{1}{\sigma ^{4}} \sum_{i=1}^{n} (x_i - \mu)^2 = \frac{n}{\sigma^2}
+                    \implies \sigma^2 = \frac{1}{n} \sum_{i=1}^{n} (x_i - \mu)^2
+                .\] Eingesetzt in die zweite Gleichung ergibt:
+                \[
+                    n \frac{\sum_{i=1}^{n} (x_i - \mu)}{\sum_{i=1}^{n} (x_i - \mu)^2} = 0
+                    \implies \sum_{i=1}^{n} (x_i - \mu) = 0
+                    \implies \sum_{i=1}^{n} x_i = n \mu \implies \mu = \overline{x}_n
+                .\] Damit folgt
+                \[
+                    \sigma^2 = \frac{1}{n} \sum_{i=1}^{n} (x_i - \overline{x}_n)^2
+                .\]
+                Die Determinante der Hessematrix von $l$ bezüglich $\mu$ und $\sigma^2$
+                ausgewertet bei $\mu = \overline{x}_n$ ist
+                $\forall \sigma^2 > 0$:
+                \begin{salign*}
+                    \text{det}\left[\begin{pmatrix} -\frac{n}{\sigma^2} & -\frac{1}{\sigma ^{4}} \sum_{i=1}^{n} (x_i - \mu) \\
+                        - \frac{1}{\sigma ^{4}} \sum_{i=1}^{n} (x_i - \mu) &
+                        - \frac{1}{\sigma ^{6}} \sum_{i=1}^{n} (x_i - \mu)^2 + \frac{n}{2} \frac{1}{\sigma ^{4}}
+                    \end{pmatrix}\Big|_{\mu = \overline{x}_n} \right]
+                    &= \text{det} \left[\begin{pmatrix}
+                        - \frac{n}{\sigma ^2} & 0 \\
+                        0 & \frac{n}{2 \sigma ^{4}}
+                \end{pmatrix} \right] \\
+                          &= - \underbrace{\frac{n^2}{2 \sigma ^{6}}}_{> 0} < 0
+                .\end{salign*}
+                Es liegt also ein (lokales) Maximum bei
+                $\theta = (\overline{x}_n, \frac{1}{n} \sum_{i=1}^{n} (x_i - \overline{x}_n)^2)$ vor.
+                Damit folgt die Behauptung.
+            \end{proof}
+        \item Beh.: $\hat{\theta}_n(x) = \frac{\overline{x}_n}{m}$.
+            \begin{proof}
+                Sei $m \in \N$ fest. Betrachte wieder den Logarithmus der Likelihoodfunktion:
+                \begin{salign*}
+                    L(x, p) &= \prod_{i=1}^{n} p^{x_i} (1 - p)^{m - x_i} \\
+                    &= p^{n \overline{x}_n} (1-p)^{nm - n \overline{x}_n} \\
+                    l(x, p) &= n \overline{x}_n \log(p) + n(m - \overline{x}_n) \log(1-p)
+                    \intertext{Dann folgt}
+                    \frac{\partial l}{\partial p} &= \frac{n \overline{x}_n}{p} - \frac{n(m - \overline{x}_n)}{1-p} \stackrel{!}{=} 0\\
+                    \intertext{Damit folgt direkt}
+                    p &= \frac{\overline{x}_n}{m}
+                    \intertext{Dieses ist auch lokales Maximum da wegen $0 \le x_i \le m$ $\forall i \in \N$
+                    auch $0 \le \overline{x_n} \le m$ gilt und damit}
+                    \frac{\partial l^2}{\partial p^2} \Big|_{p = \frac{\overline{x}_n}{m}}
+                    &= - \frac{n \overline{x}_n}{p^2} - \frac{n(m - \overline{x}_n)}{(1-p)^2}
+                    \Big|_{p = \frac{\overline{x}_n}{m}} = - n \frac{m^2}{\overline{x}_n}
+                    - \frac{n(\overbrace{m - \overline{x}_n}^{\ge 0})}{\left( 1 - \frac{\overline{x}_n}{m} \right)^2} < 0
+                .\end{salign*}
+                Da $\frac{\overline{x}_n}{m}$ einzige Nullstelle von $\frac{\partial l}{\partial p}$, ist
+                dieses auch globales Maximum. Damit folgt die Behauptung.
+            \end{proof}
+    \end{enumerate}
+\end{aufgabe}
+
+\end{document}