Math: The Bivariate Normal Distribution

Introduction

设（X, Y）为二维随机变量，若D（X），D（Y），Cov（X, Y）存在，且D（X），D（Y）都大于0，则有

\[{\rho _{XY}} = \frac{{Cov\left( {X,{\rm{ }}Y} \right)}}{{\sqrt {D\left( X \right)} \cdot \sqrt {D\left( Y \right)} }}\]

ρ_XY为相关系数。

假设随机变量X、Y的相关系数ρ_XY存在。当二者相互独立时，则E（XY）=E（X）E（Y），此时Cov（X, Y）=E（XY）—E（X）E（Y）=0，从而ρ_XY=0，即X、Y不相关。反之，若X、Y不相关，X、Y却不一定相互独立。其实，从“不相关”和“相互独立”的含义来看是明显的，不相关只是就线性关系来说的，而相互独立是就一般关系而言的。X、Y相互独立意味着两个变量之间没有任何关系，而X、Y不相关，仅仅说明X、Y之间无线性关系，但并不排除有非线性关系，比如对数关系、平方关系等等。因此，“不相关”是一个比“相互独立”弱得多的概念。

相关系数

设（X, Y）~N（μ₁, μ₂, σ₁, σ₂, ρ），它的概率密度为

\[\begin{array}{c} f\left( {x,y} \right) = \frac{1}{{2\pi {\sigma _1}{\sigma _2}\sqrt {1 - {\rho ^2}} }}\\ \cdot \exp \left\{ {\frac{{ - 1}}{{2\left( {1 - {\rho ^2}} \right)}}\left[ {\frac{{{{\left( {x - {\mu _1}} \right)}^2}}}{{\sigma _1^2}} - 2\rho \frac{{\left( {x - {\mu _1}} \right)\left( {y - {\mu _2}} \right)}}{{{\sigma _1}{\sigma _2}}} + \frac{{{{\left( {y - {\mu _2}} \right)}^2}}}{{\sigma _2^2}}} \right]} \right\} \end{array}\]

试求X和Y的相关系数。

解：可知

\[E\left( X \right) = {\mu _1},E\left( Y \right) = {\mu _2},D\left( X \right) = \sigma _1^2,D\left( Y \right) = \sigma _2^2\]

而

\[\begin{array}{c} {\rm{Cov}}\left( {X,Y} \right) = \int_{ - \infty }^{ + \infty } {\int_{ - \infty }^{ + \infty } {\left( {x - {\mu _1}} \right)\left( {y - {\mu _2}} \right)f\left( {x,y} \right){\rm{d}}} } x{\rm{d}}y\\ \left( {{\rm{Let }}t = \frac{1}{{\sqrt {1 - {\rho ^2}} }}\left( {\frac{{y - {\mu _2}}}{{{\sigma _2}}} - \rho \cdot \frac{{x - {\mu _1}}}{{{\sigma _1}}}} \right),u = \frac{{x - {\mu _1}}}{{{\sigma _1}}}} \right)\\ = \frac{1}{{2\pi }}\int_{ - \infty }^{ + \infty } {\int_{ - \infty }^{ + \infty } {\left( {{\sigma _1}{\sigma _2}\sqrt {1 - {\rho ^2}} tu + \rho {\sigma _1}{\sigma _2}{u^2}} \right){e^{ - \frac{{{u^2} + {t^2}}}{2}}}{\rm{d}}t{\rm{d}}u} } \\ = \frac{{\rho {\sigma _1}{\sigma _2}}}{{2\pi }}\left( {\int_{ - \infty }^{ + \infty } {{u^2}{e^{ - \frac{{{u^2}}}{2}}}{\rm{d}}u} } \right)\left( {\int_{ - \infty }^{ + \infty } {{e^{ - \frac{{{t^2}}}{2}}}{\rm{d}}t} } \right) + \frac{{{\sigma _1}{\sigma _2}\sqrt {1 - {\rho ^2}} }}{{2\pi }}\left( {\int_{ - \infty }^{ + \infty } {u{e^{ - \frac{{{u^2}}}{2}}}{\rm{d}}u} } \right)\left( {\int_{ - \infty }^{ + \infty } {t{e^{ - \frac{{{t^2}}}{2}}}{\rm{d}}t} } \right)\\ = \frac{{\rho {\sigma _1}{\sigma _2}}}{{2\pi }} \cdot \sqrt {2\pi } \cdot \sqrt {2\pi } \end{array}\]

即有

\[{\rm{Cov}}\left( {X,Y} \right) = \rho {\sigma _1}{\sigma _2}\]

于是

\[{\rho _{XY}} = \frac{{{\rm{Cov}}\left( {X,Y} \right)}}{{\sqrt {D\left( X \right)} \sqrt {D\left( Y \right)} }} = \rho \]

这就是说，二维正态随机变量（X，Y）的概率密度中的参数ρ就是X和Y的相关系数，因而二维正态随机变量的分布完全可由X、Y各自的期望、方差以及他们的相关系数确定。

References

[1] 李正耀, 周德强. 大学数学——概率论与数理统计. 北京: 科学出版社. 2009. Pp: 98-101.