wtheo-zettel/wtheo7.tex

\documentclass[uebung]{lecture}

\title{Wtheo 0: Übungsblatt 7}
\author{Josua Kugler, Christian Merten}

\renewcommand{\P}{\mathbb{P}}
\usepackage{stmaryrd}
\begin{document}

\punkte[25]

\stepcounter{aufgabe}

\begin{aufgabe}
    \begin{enumerate}[(a)]
        \item Es gilt 
        \begin{align*}
            \mathbbm{f}^{X + Y}(z) &= [\mathbbm{f}^X * \mathbbm{f}^Y](z)\\
            &= \int_{-\infty}^\infty \mathbbm{f}^X(z-x) \mathbbm{f}^Y(x)\d {x}\\
            &= \int_{-\infty}^\infty \frac{1}{\sqrt{2\pi \sigma_1^2}}e^{-\frac{1}{2\sigma_1^2}((z- x) - \mu_1)^2}\frac{1}{\sqrt{2\pi \sigma_2^2}}e^{-\frac{1}{2\sigma_2^2}(x - \mu_2)^2} \d{x}\\
            \intertext{Durch die Substitution $x \mapsto x + \mu_2$ erhalten wir}
            &= \frac{1}{2\pi\sigma_1\sigma_2} \int_{-\infty}^\infty e^{-\frac{1}{2\sigma_1^2}((z- x) - (\underbrace{\mu_1 + \mu_2}_{\eqqcolon \mu}))^2 -\frac{1}{2\sigma_2^2}x^2} \d{x}\\
            &= \frac{1}{2\pi\sigma_1\sigma_2} \int_{-\infty}^\infty e^{-\frac{1}{2\sigma_1^2}(x - z + \mu)^2 -\frac{1}{2\sigma_2^2}x^2} \d{x}\\
            \intertext{Wir substituieren $z = z - \mu$. }
            \mathbbm{f}^{X + Y}(z + \mu) &= \frac{1}{2\pi\sigma_1\sigma_2} \int_{-\infty}^\infty e^{-\frac{1}{2\sigma_1^2}(x - z)^2 -\frac{1}{2\sigma_2^2}x^2} \d{x}\\
            &= \frac{1}{2\pi\sigma_1\sigma_2} \int_{-\infty}^\infty e^{-\frac{1}{2} \left[\left(\frac{1}{\sigma_1^2} + \frac{1}{\sigma_2^2}\right)x^2 - 2\frac{1}{\sigma_1^2} xz + \frac{1}{\sigma_1^2}z^2 \right]} \d{x}\\
            &= \frac{1}{2\pi\sigma_1\sigma_2} \int_{-\infty}^\infty e^{-\frac{1}{2}\frac{\sigma_1^2 + \sigma_2^2}{\sigma_1^2\cdot \sigma_2^2}\left[x^2 - 2\frac{\sigma_2^2}{\sigma_1^2 + \sigma_2^2} xz + \frac{\sigma_2^2}{\sigma_1^2 + \sigma_2^2}z^2 \right]} \d{x}\\
            &= \frac{1}{2\pi\sigma_1\sigma_2} \int_{-\infty}^\infty e^{-\frac{1}{2}\frac{\sigma_1^2 + \sigma_2^2}{\sigma_1^2\cdot \sigma_2^2}\left[\left(x - \frac{\sigma_2^2}{\sigma_1^2 + \sigma_2^2} z\right)^2 - \frac{\sigma_2^4}{(\sigma_1^2 + \sigma_2^2)^2}z^2 + \frac{\sigma_2^2}{\sigma_1^2 + \sigma_2^2}z^2\right] } \d{x}\\
            &= \frac{1}{2\pi\sigma_1\sigma_2} \int_{-\infty}^\infty e^{-\frac{1}{2}\frac{\sigma_1^2 + \sigma_2^2}{\sigma_1^2\cdot \sigma_2^2}\left[\left(x - \frac{\sigma_2^2}{\sigma_1^2 + \sigma_2^2} z\right)^2\right]} \cdot e^{- \frac{1}{2} \left[- \frac{\sigma_2^2}{\sigma_1^2(\sigma_1^2 + \sigma_2^2)} + \sigma_1^2\right]z^2} \d{x}
            \intertext{Subsitution $x \coloneqq x + \frac{\sigma_2^2}{\sigma_1^2 + \sigma_2^2}z$ und erhalten}
            &= \frac{1}{2\pi\sigma_1\sigma_2} \int_{-\infty}^\infty e^{-\frac{1}{2}\frac{\sigma_1^2 + \sigma_2^2}{\sigma_1^2 \sigma_2^2} x^2} \d{x} \cdot e^{- \frac{1}{2} \left[- \frac{\sigma_2^2}{\sigma_1^2(\sigma_1^2 + \sigma_2^2)} + \frac{1}{\sigma_1^2}\right]z^2} \\
            &= \frac{1}{2\pi\sigma_1\sigma_2} \cdot \frac{\sigma_1\sigma_2}{\sqrt{\sigma_1^2 + \sigma_2^2}}\int_{-\infty}^\infty e^{-\frac{1}{2}x^2} \d{x}\cdot e^{- \frac{1}{2} \left[- \frac{\sigma_2^2}{\sigma_1^2(\sigma_1^2 + \sigma_2^2)} + \frac{\sigma_1^2 + \sigma_2^2}{\sigma_1^2(\sigma_1^2 + \sigma_2^2)}\right]z^2} \\
            &= \frac{1}{\sqrt{2\pi(\sigma_1^2 + \sigma_2^2)}} \cdot e^{- \frac{1}{2(\sigma_1^2 + \sigma_2^2)}z^2}
        \intertext{Resubstitution $z \coloneqq z + \mu = z+\mu_1 + \mu_2$}
        \mathbbm{f}^{X + Y}(z) &= \frac{1}{\sqrt{2\pi(\sigma_1^2 + \sigma_2^2)}} \cdot e^{- \frac{1}{2(\sigma_1^2 + \sigma_2^2)}(z - (\mu_1 + \mu_2))^2}
        \end{align*}
        Daraus folgt $X + Y = N_{(\mu_1+ \mu_2, \sigma_1^2 + \sigma_2^2)}$.
        \item Es ist bekannt, dass $n \cdot \overline{X_n} = \sum_{i = 1}^{n} X_i \sim N_{(n\mu, n\sigma^2)}$ für $X_i \sim N_{(\mu, \sigma^2)}$.
        Wir betrachten nun $h(X) = \frac{1}{\sqrt{n\sigma^2}} X - \frac{\sqrt{n}\mu}{\sigma}$. Nach dem Transformationssatz gilt dann für $Z_n = h(n \cdot \overline{X_n})$:
        \begin{align*}
            \mathbbm{f}^{Z_n}(y) &= \sqrt{n\sigma^2} \frac{1}{2\pi n\sigma^2}e^{-\frac{1}{2n \sigma^2}(\sqrt{n\sigma^2}(y + \sqrt{n}\sigma^{-1} \mu) - n\mu)^2}\\
            &= \frac{1}{2\pi} e^{-\frac{1}{2n \sigma^2}(\sqrt{n\sigma^2}y + n\mu - n\mu)^2}\\
            &= \frac{1}{2\pi} e^{-\frac{1}{2n \sigma^2}\cdot n\sigma^2y^2}\\
            &= \frac{1}{2\pi} e^{-\frac{1}{2}y^2}\\
        \end{align*}
        Daher gilt $Z_n \sim N_{(0,1)}$.
   \end{enumerate}
\end{aufgabe}

\stepcounter{aufgabe}

\begin{aufgabe}
    \begin{enumerate}[(a)]
        \item Nach dem Dichtetransformationssatz gilt 
        \begin{align*}
            \mathbbm{f}^{AX + b}(y) &= \frac{1}{|\det(A)|} \mathbbm{f}^{X}(A^{-1}(y-b))\\
            &= \det{AA^t}^{-\frac{1}{2}} \cdot (2\pi)^{-\frac{n}{2}} \det{\Sigma}^{-\frac{1}{2}} e^{-\frac{1}{2}\langle \Sigma^{-1}(A^{-1}(y-b)- \mu), A^{-1}(y-b) - \mu \rangle}\\
            &= \det{A\Sigma A^t}^{-\frac{1}{2}} (2\pi)^{-\frac{n}{2}} e^{-\frac{1}{2}\langle\Sigma^{-1}A^{-1}(y - (A\mu + b)), A^{-1}(y - (A\mu + b))\rangle}\\
            &= \det{A\Sigma A^t}^{-\frac{1}{2}} (2\pi)^{-\frac{n}{2}} e^{-\frac{1}{2}\langle A^{-t}\Sigma^{-1}A^{-1}(y - (A\mu + b)), (y - (A\mu + b))\rangle}\\
            &= \det{A\Sigma A^t}^{-\frac{1}{2}} (2\pi)^{-\frac{n}{2}} e^{-\frac{1}{2}\langle (A\Sigma A^t)^{-1}(y - (A\mu + b)), (y - (A\mu + b))\rangle}
        \end{align*}
        Daher gilt $AX + b \sim N_{A\mu + b, A\Sigma A^t}$. 
        \item Wir definieren $E_{ij}$ mit $(E_{ij})_{kl} = \delta_{ik}\delta_{jl}$.
        Dann erhalten wir durch $P_{ij} = \sum_{i = 1}^{n} E_{ii} - E_{ii} - E_{jj} + E_{ij} + E_{ji}$ eine Permutationsmatrix. 
        Für $Y = P_{1i}X$ gilt $Y \sim N_{(P_{1i}\mu, P_{1i}\Sigma P_{i1})}$.
        Wegen $P_{1i}\Sigma P_{i1} = LDL^t$ für eine normierte untere Dreiecksmatrix $L$ und eine Diagonalmatrix $D$, erhalten wir
        \[
            L^{-1}P_{1i}X - L^{-1}P_{1i}\mu \sim N_{(L^{-1} P_{1i}\mu - L^{-1}P_{1i}\mu, L^{-1}L D L^t L^{-t})} = N_{(0, D)}
        \]
        Da $L$ und somit auch $L^{-1}$ normierte untere Dreiecksmatrizen sind, gilt $(L^{-1}\cdot A)_{11} = A_{11}$ für beliebiges $A$. Daher erhalten wir für die Randverteilung
        \begin{align*}
            \mathbbm{f}^{(L^{-1}P_{1i}X - L^{-1}P_{1i}\mu)_1}(x_1) &= \int_{-\infty}^\infty \cdots \int_{-\infty}^\infty \mathbbm{f}^{L^{-1}P_{1i}X - L^{-1}P_{1i}\mu}(x_1, \dots, x_n) \d{x_n} \d{x_2}\\
            \mathbbm{f}^{(P_{1i}X)_1 - (P_{1i}\mu)_1}(x_1)&= \int_{-\infty}^\infty \cdots \int_{-\infty}^\infty \frac{1}{(2\pi)^{\frac{n}{2}}} \cdot (\det D)^{-\frac{1}{2}} e^{-\frac{1}{2}\langle D^{-1}x, x\rangle} \d{x_n} \cdots \d{x_2}\\
            \mathbbm{f}^{X_i - \mu_i}(x_1)&= (\det D)^{-\frac{1}{2}} \cdot \frac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}D_{11}^{-1}x_1^2}\prod_{i = 2}^{n} \int_{-\infty}^\infty \frac{1}{\sqrt{2\pi}} e^{-\frac{1}{2}D_{ii}^{-1}x_i^2}\\
            &= \frac{\sqrt{D_{22}\cdot \dots \cdot D_{nn}}}{\sqrt{\det D}} \cdot \frac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}D_{11}^{-1} x_1^2}\\
            &= \frac{1}{\sqrt{2\pi D_{11}}}e^{-\frac{1}{2D_{11}} x_1^2}\\
            \implies \mathbbm{f}^{X_i - \mu_i}(x_i)&\sim N_{(0, D_{11})}  = N_{(0, (P_{1i}\Sigma P_{i1})_{11})} = N_{(0, \Sigma_{ii})}\\
            \mathbbm{f}^{X_i}(x_i) &\sim N_{(\mu_i, \Sigma_{ii})}
        \end{align*}
        \item Durch die Permutation $P_{1i}P_{2j}$ können wir (analog zur Aufgabe (b)) o.B.d.A. $i= 1$, $j = 2$ annehmen. Wir wenden erneut die Cholesky-Zerlegung an und erhalten $\Sigma = LDL^t$, wobei wegen $\Sigma_{12} = \Sigma_{21}$ auch $L_{21} = 0$ gelten muss.
        Daher ist auch $D_{11} = \Sigma_{11}$ und $D_{22} = \Sigma_{22}$.
        Wir berechnen nun die Randverteilung für $(X_1, X_2)$.
        \begin{align*}
            \mathbbm{f}^{(L^{-1}X - L^{-1}\mu)_{(1,2)}}(x_1, x_2) &= \int_{-\infty}^\infty \cdots \int_{-\infty}^\infty \mathbbm{f}^{L^{-1}X - L^{-1}\mu}(x_1, \dots, x_n) \d{x_n} \d{x_3}
            \intertext{Nun nutzen wir $L_{21} = 0$}
            \mathbbm{f}^{(X_1, X_2) - (\mu_1, \mu_2)}(x_1, x_2)&= \int_{-\infty}^\infty \cdots \int_{-\infty}^\infty \frac{1}{(2\pi)^{\frac{n}{2}}} \cdot (\det D)^{-\frac{1}{2}} e^{-\frac{1}{2}\langle D^{-1}x, x\rangle} \d{x_n} \cdots \d{x_3}\\
            \mathbbm{f}^{(X_1 - \mu_1, X_2 - \mu_2)}(x_1, x_2)&= (\det D)^{-\frac{1}{2}} \cdot \frac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}D_{11}^{-1}x_1^2}\frac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}D_{22}^{-1}x_2^2}\cdot \prod_{i = 3}^{n} \int_{-\infty}^\infty \frac{1}{\sqrt{2\pi}} e^{-\frac{1}{2}D_{ii}^{-1}x_i^2}\\
            &= \frac{\sqrt{D_{33}\cdot \dots \cdot D_{nn}}}{\sqrt{\det D}} \cdot \frac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}D_{11}^{-1} x_1^2} \cdot \frac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}D_{22}^{-1} x_2^2}\\
            &= \frac{1}{\sqrt{2\pi D_{11}}}e^{-\frac{1}{2D_{11}} x_1^2}\cdot \frac{1}{\sqrt{2\pi D_{22}}}e^{-\frac{1}{2D_{22}} x_2^2}\\
            \mathbbm{f}^{(X_1, X_2)}(x_1, x_2)&= \frac{1}{\sqrt{2\pi \Sigma_{11}}}e^{-\frac{1}{2\Sigma_{11}} (x_1 - \mu_1)^2}\cdot \frac{1}{\sqrt{2\pi \Sigma_{22}}}e^{-\frac{1}{2\Sigma_{22}} (x_2 - \mu_2)^2}\\
            &= \mathbbm{f}^{X_1}(x_1) \cdot \mathbbm{f}^{X_2}(x_2)
        \end{align*}
        Also sind $X_1$ und $X_2$ unabhängig.
    \end{enumerate}
\end{aufgabe}
\end{document}