diff --git a/wtheo5.pdf b/wtheo5.pdf new file mode 100644 index 0000000..7f54d40 Binary files /dev/null and b/wtheo5.pdf differ diff --git a/wtheo5.tex b/wtheo5.tex new file mode 100644 index 0000000..0aff6ea --- /dev/null +++ b/wtheo5.tex @@ -0,0 +1,120 @@ +\documentclass[uebung]{../../../lecture} + +\title{Wtheo 0: Übungsblatt 5} +\author{Josua Kugler, Christian Merten} +\usepackage[]{bbm} + +\begin{document} + +\punkte[17] + +\begin{aufgabe} + Beh.: $\varphi = \mathbbm{1}_{A_k}$ mit $ k \in \R^{+}$ ist bester Test + zum Niveau $\mathbb{P}_0(A_k) \in [0,1]$. + \begin{proof} + Sei $\tilde{\varphi} = \mathbbm{1}_{\tilde{A}}$ ein Test zum Niveau $\mathbb{P}_0(A_k)$, d.h. + $\mathbb{P}_0(\tilde{\varphi} = 1) = \mathbb{P}_0(\tilde{A}) \le \mathbb{P}_{0}(A_k) = + \mathbb{P}_0(\varphi = 1)$ $(**)$. + + Z.z.: $\mathbb{P}_1(\tilde{\varphi} = 0) = \mathbb{P}_1(\tilde{A}^{c}) \ge \mathbb{P}_1(A_k^{c}) = + \mathbb{P}_1(\varphi = 0)$. + + Es ist $x \in A_{k} \iff \mathbbm{f}_1(x) - k \mathbbm{f}_0(x) \ge 0$, also + $x \in A_k^{c} \iff \mathbbm{f}_1(x) - k \mathbbm{f}_0(x) < 0$ $(*)$. Damit folgt + \begin{salign*} + \mathbb{P}_1(A_k) - k \mathbb{P}_0(A_k) &= \int_{A_k}^{} \left[ \mathbbm{f}_1(x) - k \mathbbm{f}_0(x) \right] \d{x} \\ + &\ge \int_{A_k \cap \tilde{A}}^{} \left[ \mathbbm{f}_1(x) - k \mathbbm{f}_0(x) \right] \d{x} \\ + &\ge \int_{A_k \cap \tilde{A}}^{} \left[ \mathbbm{f}_1(x) - k \mathbbm{f}_0(x) \right] \d{x} + + \int_{A_k^{c} \cap \tilde{A}}^{} \underbrace{\left[ \mathbbm{f}_1(x) - k \mathbbm{f}_0(x) \right] }_{< 0 \; (*)}\d{x} \\ + &= \int_{\tilde{A}}^{} \left[ \mathbbm{f}_1(x) - k \mathbbm{f}_0(x) \right] \d{x} \\ + &= \mathbb{P}_1(\tilde{A}) - k \mathbb{P}_0(\tilde{A}) + .\end{salign*} + Also folgt + \[ + \mathbb{P}_1(A_k) - \mathbb{P}_1(\tilde{A}) \ge k (\mathbb{P}_0(A_k) - \mathbb{P}_0(\tilde{A})) + \stackrel{\text{(**)}}{\ge } 0 + .\] Es ist also $\mathbb{P}_1(A_k) \ge \mathbb{P}_1(\tilde{A})$, insgesamt + \[ + \mathbb{P}_1(A_k^{c}) = 1 - \mathbb{P}_1(A_k) \le 1 - \mathbb{P}_1(\tilde{A}) + = \mathbb{P}_1(\tilde{A}^{c}) + .\] Also Fehler $2$. Art minimiert und damit $\varphi$ bester Test zum Niveau $\mathbb{P}_0(A_k)$. + \end{proof} +\end{aufgabe} + +\stepcounter{aufgabe} + +\begin{aufgabe}[] + \begin{enumerate}[(a)] + \item Beh.: $\hat{\theta}_n(x) = (\overline{x}_n, \frac{1}{n} \sum_{i=1}^{n} (x_i - \overline{x}_n)^2)$. + \begin{proof} + Betrachte für $\sigma^2 > 0$: + \begin{salign*} + L(x, \mu, \sigma^2) &= (2 \pi \sigma^2)^{-\frac{n}{2}} \exp\left( -\frac{1}{2\sigma^2} + \sum_{i=1}^{n} (x_i - \mu)^2\right) \\ + l(x, \mu, \sigma^2) &= \log L \\ + &= -\frac{1}{2 \sigma^2} \sum_{i=1}^{n} (x_i - \mu)^2 + - \frac{n}{2} \log(2 \pi \sigma^2) + \intertext{Es genügt die Maxima von $l = \log L$ zu betrachten, da der Logarithmus + streng monoton wachsend ist. Betrachte den Gradienten bezüglich $\mu$ und $\sigma^2$:} + \nabla l(x, \mu, \sigma^2) &= \begin{pmatrix} + \frac{1}{2 \sigma^2} \sum_{i=1}^{n} 2 (x_i - \mu) \\ + \frac{1}{2 \sigma ^{4}} \sum_{i=1}^{n} (x_i - \mu)^2 - \frac{n}{2} \frac{1}{\sigma^2} + \end{pmatrix} + \stackrel{!}{=} 0 + .\end{salign*} + Damit folgt + \[ + \frac{1}{\sigma ^{4}} \sum_{i=1}^{n} (x_i - \mu)^2 = \frac{n}{\sigma^2} + \implies \sigma^2 = \frac{1}{n} \sum_{i=1}^{n} (x_i - \mu)^2 + .\] Eingesetzt in die zweite Gleichung ergibt: + \[ + n \frac{\sum_{i=1}^{n} (x_i - \mu)}{\sum_{i=1}^{n} (x_i - \mu)^2} = 0 + \implies \sum_{i=1}^{n} (x_i - \mu) = 0 + \implies \sum_{i=1}^{n} x_i = n \mu \implies \mu = \overline{x}_n + .\] Damit folgt + \[ + \sigma^2 = \frac{1}{n} \sum_{i=1}^{n} (x_i - \overline{x}_n)^2 + .\] + Die Determinante der Hessematrix von $l$ bezüglich $\mu$ und $\sigma^2$ + ausgewertet bei $\mu = \overline{x}_n$ ist + $\forall \sigma^2 > 0$: + \begin{salign*} + \text{det}\left[\begin{pmatrix} -\frac{n}{\sigma^2} & -\frac{1}{\sigma ^{4}} \sum_{i=1}^{n} (x_i - \mu) \\ + - \frac{1}{\sigma ^{4}} \sum_{i=1}^{n} (x_i - \mu) & + - \frac{1}{\sigma ^{6}} \sum_{i=1}^{n} (x_i - \mu)^2 + \frac{n}{2} \frac{1}{\sigma ^{4}} + \end{pmatrix}\Big|_{\mu = \overline{x}_n} \right] + &= \text{det} \left[\begin{pmatrix} + - \frac{n}{\sigma ^2} & 0 \\ + 0 & \frac{n}{2 \sigma ^{4}} + \end{pmatrix} \right] \\ + &= - \underbrace{\frac{n^2}{2 \sigma ^{6}}}_{> 0} < 0 + .\end{salign*} + Es liegt also ein (lokales) Maximum bei + $\theta = (\overline{x}_n, \frac{1}{n} \sum_{i=1}^{n} (x_i - \overline{x}_n)^2)$ vor. + Damit folgt die Behauptung. + \end{proof} + \item Beh.: $\hat{\theta}_n(x) = \frac{\overline{x}_n}{m}$. + \begin{proof} + Sei $m \in \N$ fest. Betrachte wieder den Logarithmus der Likelihoodfunktion: + \begin{salign*} + L(x, p) &= \prod_{i=1}^{n} p^{x_i} (1 - p)^{m - x_i} \\ + &= p^{n \overline{x}_n} (1-p)^{nm - n \overline{x}_n} \\ + l(x, p) &= n \overline{x}_n \log(p) + n(m - \overline{x}_n) \log(1-p) + \intertext{Dann folgt} + \frac{\partial l}{\partial p} &= \frac{n \overline{x}_n}{p} - \frac{n(m - \overline{x}_n)}{1-p} \stackrel{!}{=} 0\\ + \intertext{Damit folgt direkt} + p &= \frac{\overline{x}_n}{m} + \intertext{Dieses ist auch lokales Maximum da wegen $0 \le x_i \le m$ $\forall i \in \N$ + auch $0 \le \overline{x_n} \le m$ gilt und damit} + \frac{\partial l^2}{\partial p^2} \Big|_{p = \frac{\overline{x}_n}{m}} + &= - \frac{n \overline{x}_n}{p^2} - \frac{n(m - \overline{x}_n)}{(1-p)^2} + \Big|_{p = \frac{\overline{x}_n}{m}} = - n \frac{m^2}{\overline{x}_n} + - \frac{n(\overbrace{m - \overline{x}_n}^{\ge 0})}{\left( 1 - \frac{\overline{x}_n}{m} \right)^2} < 0 + .\end{salign*} + Da $\frac{\overline{x}_n}{m}$ einzige Nullstelle von $\frac{\partial l}{\partial p}$, ist + dieses auch globales Maximum. Damit folgt die Behauptung. + \end{proof} + \end{enumerate} +\end{aufgabe} + +\end{document}