Mid9ts
大学生
Mid9ts的博客

[概率论]-卡方分布推导

[概率论]-卡方分布推导

长话短说,文章在我的博客和 知乎上都会同步更新,博主自己也才疏学浅,欢迎大家纠错。

在给出常见的

$$ \sum_{k=1}^n X_1^2+X_2^2+…+X_n^2 \enspace \text{服从}\enspace \chi ^2(n)$$

证明之前,首先需要了解两个必要的知识,一是伽马函数,二是为什么Z=X+Y的分布可以写成卷积形式。后者在概率论的教材上会详细地讲到,大家会很熟悉。然而我还想稍稍深入讨论一下Z=F(X,Y)的分布的普遍形式。

1.伽马函数

伽马函数是最常见的特殊函数,常见的定义为

$$ \Gamma (x)=\int_0^{\infty} e^{-t} t^{x-1} dt$$

伽马函数有很多特殊性质,大家可以去翻阅数学物理方程与特殊函数的教材,在这里我们只需要知道两个即将用到的性质,第一个性质如下:

$$ \Gamma (\frac{1}{2})=\sqrt{\pi} $$

证明如下:

$$ \text{令} t=u^2 $$ $$ \Gamma (\frac{1}{2}) =\int_{0}^{\infty} e^{-t} t^{-\frac{1}{2}} dt=2 \int_{0}^{\infty} e^{-u^2} du $$ $$ \begin{align*} \left[ \Gamma (\frac{1}{2}) \right]^2 = &4 \int_{0}^{\infty}\int_{0}^{\infty} e^{-(u^2+v^2)} dudv \\ =& 4\int_{0}^{\frac{\pi}{2}} \int_{0}^{\infty} e^{-r^2}rdrd\theta\\ =&\pi \end{align*} $$

第二个性质引出了另一个特殊函数,Beta函数:

$$ B (p,q) = \int_{0}^{1} t^{p-1}(1-t)^{q-1}dt=\frac{\Gamma (p)\Gamma (q)}{\Gamma (p+q)} $$

证明如下,我们仿照上面的换元方法,令$t=x^2$或者$y^2$

$$ \Gamma (p)=2\int_{0}^{\infty} e^{-x^2}x^{2p-1}dx \enspace , \Gamma (q)=2\int_{0}^{\infty} e^{-y^2}y^{2q-1}dy $$ $$\text{令}x=r \cos{\theta},y=r\sin{\theta}$$ $$ \begin{align*} \Gamma (p) \Gamma (q)&=4\int_{0}^{\infty}\int_{0}^{\infty}e^{-x^2-y^2}x^{2p-1}y^{2q-1}dxdy\\ &=4\int_{0}^{\infty}\int_{0}^{\infty}e^{-x^2-y^2}x^{2p-1}y^{2q-1}dxdy \\ &=4\int_{0}^{\infty} e^{-r^2} r^{2(p+q-1)}rdr \int_{0}^{\frac{\pi}{2}} (\cos ^2(\theta))^{(p-1)}\cos{\theta}(\sin ^2(\theta))^{(q-1)}\sin{\theta}d\theta \\ \end{align*} $$

左边就是$\Gamma (p+q)$,右边我们令$cos^2(\theta) = t$

$$ \begin{align*} &\int_{0}^{\frac{\pi}{2}} (\cos ^2(\theta))^{(p-1)}\cos{\theta}(\sin ^2(\theta))^{(q-1)}\sin{\theta}d\theta \\ =& \frac{1}{2} \int_{1}^{0} t^{(p-1)}\sqrt{t}(1-t)^{(q-1)}\sqrt{1-t} \frac{-1}{\sqrt{t-t^2}}dt \\ =& B (p,q) \end{align*} $$

2.卷积

如何推导Z=X+Y这一函数的分布。方法之一是把它理解为改变积分区域,比如P{Z<z}=P{X+Y<z}=P{Y<z-X},计算时先不改变积分变量,而是改变积分区域,即直线y=z-x下方的区域:

$$ P\{Z \lt z\}=\iint\limits_{Y \lt z-X} f(x,y)dxdy=\int_{-\infty}^{\infty} \int_{-\infty}^{z-x} f(x,y)dydx$$ 这时再令u=y+x,积分变为: $$\int_{-\infty}^{\infty} \int_{-\infty}^{z} f(x,u-x)dudx=\int_{-\infty}^{z} \int_{-\infty}^{\infty} f_X(x)f_Y(u-x)dxdu$$

可以看到熟悉的卷积出现了。

方法之二是理解成一种变换,我觉得这是一种更具普遍性的想法,所以平时做题的时候我会不由自主地使用,虽然很多时候适得其反,比第一种方法花费更多时间,然而我却乐在其中(哈哈)。话说回来,关于其他分布的推导我也会使用这种办法,所以建议不熟悉的读者注意一下。考察最一般的情况:

$$ \begin{align*} \text{关于xy的密度函数}f(x,y)\text{若} \begin{cases} u=g_1(x,y) \\ v=g_2(x,y) \end{cases} \enspace \text{同时有反函数} \begin{cases} x=h_1(u,v) \\ y=h_2(u,v) \end{cases} \end{align*} $$

该变换的雅可比矩阵为:

$$ \begin{bmatrix} dx \\dy \end{bmatrix} = \begin{bmatrix} \frac{\partial h_1}{\partial u}du & \frac{\partial h_1}{\partial v}dv \\ \frac{\partial h_2}{\partial u}du & \frac{\partial h_2}{\partial v}dv \end{bmatrix} = \begin{bmatrix} \frac{\partial h_1}{\partial u} & \frac{\partial h_1}{\partial v} \\ \frac{\partial h_2}{\partial u} & \frac{\partial h_2}{\partial v} \end{bmatrix} \begin{bmatrix} du \\dv \end{bmatrix} $$ $$ \text{雅可比行列式}\left|J\right|= \begin{vmatrix} \frac{\partial h_1}{\partial u} & \frac{\partial h_1}{\partial v} \\ \frac{\partial h_2}{\partial u} & \frac{\partial h_2}{\partial v} \end{vmatrix} $$

这个时候原问题的积分区域A变换成了区域B,所以

$$ \begin{align*} \iint\limits_{A} f(x,y)dxdy & =\iint\limits_{B} f(h_1(u,v),h_2(u,v))\left|J\right| dudv \\ & =\iint\limits_{B} f_X(h_1(u,v))f_Y(h_2(u,v))\left|J\right| dudv \end{align*} $$

如果是只有一个函数的情况,如:

$$z=g_1(x,y)$$

我们可以把另外一个函数也安排上,直接让另一个函数等于x:

$$ \begin{cases} \xi =x \\ \zeta =g_1(x,y) \end{cases} \text{同时有反函数} \begin{cases} x= \xi \\ y= h_2(\xi ,\zeta) \end{cases} $$

道理和上面是一样的。

然后我们来看看Z=X+Y的情况

$$ \begin{cases} \xi =X \\ \zeta =X+Y \end{cases} \text{有反函数} \begin{cases} X= \xi \\ Y= \zeta – \xi \end{cases} $$

雅可比行列式

$$ \left|J\right|= \begin{vmatrix} 1 & 0\\ -1 & 1 \end{vmatrix} =1 $$

由于

$$ -\infty \lt \xi \lt \infty \text{且} -\infty \lt \zeta \lt z$$

所以

$$ \iint\limits_{A} f(x,y)dxdy = \int_{-\infty}^{z}\int_{-\infty}^{\infty} f_X(\xi)f_Y(\zeta – \xi) d\xi d\zeta $$

卷积公式同样出现了,和第一种方法得到的结果一模一样。

3.卡方分布推导

我们先来证明$X \sim N(0,1)时X^2 \sim \chi ^2(1)$

这样

$$ \begin{align*} P\{X^2 \lt y\}&=P\{-\sqrt{y} \lt X \lt \sqrt{y}\} \\ &=\int_{-\sqrt{y}}^{\sqrt{y}} \frac{1}{\sqrt{2 \pi}}e^{-\frac{X^2}{2}}dX \\ f(y)&=\frac{1}{\sqrt{2 \pi}}e^{-\frac{y}{2}}(\sqrt{y})’-\frac{1}{\sqrt{2 \pi}}e^{-\frac{y}{2}}(-\sqrt{y})’ \\ &=\frac{1}{2^{\frac{1}{2}}\sqrt{\pi}}y^{(\frac{1}{2}-1)}e^{-\frac{y}{2}}\\ &=\frac{(\frac{1}{2})^{\frac{1}{2}}y^{(\frac{1}{2}-1)}e^{-\frac{y}{2}}}{\Gamma (\frac{1}{2})} \end{align*} $$ 我们这样来替换它,这个函数叫伽马分布的密度函数 $$ f(y,\lambda ,\alpha)=\frac{\lambda ^{\alpha} y^{(\alpha-1)}e^{-\lambda y}}{\Gamma (\alpha)}\\ $$

现在来证明伽马密度函数的加法性质

$$ \text{如果} Y_1 \sim Ga(\lambda ,\alpha _1) \enspace Y_2 \sim Ga(\lambda ,\alpha _2) $$ $$ \text{那么} Y_1+Y_2 \sim Ga(\lambda ,\alpha _1+\alpha _2) $$

现在需要用到卷积了

$$ \begin{align*} f(y)&=f_{Y_1}(y)\ast f_{Y_2}(y) \\ &=\int_{0}^{+\infty} \frac{\lambda ^{\alpha _1} t^{(\alpha _1-1)}e^{-\lambda t}}{\Gamma (\alpha _1)} \frac{\lambda ^{\alpha _2} (y-t)^{(\alpha _2-1)}e^{-\lambda (y-t)}}{\Gamma (\alpha _2)} dt \\ &=\frac{\lambda ^{(\alpha _1 +\alpha _2)} e^{-\lambda y}}{\Gamma (\alpha _1) \Gamma (\alpha _2)} \int_{0}^{y} t^{(\alpha _1 -1)} (y-t)^{(\alpha_2 -1)}dt \\ &=\frac{\lambda ^{(\alpha _1 +\alpha _2)} e^{-\lambda y} y^{(\alpha _1 +\alpha _2 -1)}}{\Gamma (\alpha _1) \Gamma (\alpha _2)} \int_{0}^{y} (\frac{t}{y})^{(\alpha _1 -1)} (1-\frac{t}{y})^{(\alpha_2 -1)} d(\frac{t}{y})\\ &=\frac{\lambda ^{(\alpha _1 +\alpha _2)} e^{-\lambda y} y^{(\alpha _1 +\alpha _2 -1)}}{\Gamma (\alpha _1) \Gamma (\alpha _2)} \frac{\Gamma (\alpha _1) \Gamma (\alpha _2)}{\Gamma (\alpha _1 + \alpha _2)} \end{align*}\\ $$

很显然f(y)就是$Ga(\lambda ,\alpha _1 +\alpha _2)$的密度函数

接下来要做的事情就很简单了,我们只需要让所有的

$$ \lambda =\frac{1}{2} ,\alpha _1=\alpha _2 =…=\alpha _n =\frac{1}{2} $$

于是

$$ \sum_{k=1}^n X_1^2+X_2^2+…+X_n^2 = \sum_{k=1}^n Y_1+Y_2+…+Y_n \sim Ga(\frac{1}{2},\frac{n}{2}) $$

现在它的密度函数就是

$$ f(y)= \begin{cases} \frac{1}{2^{\frac{n}{2}} \Gamma (\frac{n}{2})}y^{(\frac{n}{2}-1)}e^{-\frac{y}{2}} &0 \lt y \\ 0 & y \le 0 \end{cases} $$

推荐文章

发表评论

textsms
account_circle
email

Mid9ts的博客

[概率论]-卡方分布推导
长话短说,文章在我的博客和 知乎上都会同步更新,博主自己也才疏学浅,欢迎大家纠错。 在给出常见的 $$ \sum_{k=1}^n X_1^2+X_2^2+...+X_n^2 \enspace \text{服从}\enspace \chi ^…
扫描二维码继续阅读
2022-01-14