Confidence intervals for parameters of normal distribution

这是我在阅读 Lecture 5 of MIT OpenCourse on Statistics for Applications 的笔记,但是内容多于这个Lecture,因为还包括了同事李玉龙教我的一些内容。

为了估计一个正态分布 N(\mu,\sigma^2) 的参数:\mu\sigma^2,我们通常需要一些样本 X_1,\ldots,X_n\sim N(\mu,\sigma),然后用最大似然估计(MLE):

\hat{\mu}=\bar{X}\rightarrow\mu, \quad \hat{\sigma^2}=\bar{X^2}-(\bar{X})^2\rightarrow\sigma^2

然而估计都是可能有错的。而confidence interval(置信区间)是比估计更通用的一个概念——正确的估计在这个区间中的概率是 \alpha (比如\alpha=95\%)。

那么 \hat{\mu},\hat{\sigma^2} 的置信区间分别是什么呢?

定义1 :If X_i\sim N(0,1), then \sum_{i=1}^n X_i^2 \sim \chi^2(n)

联想1:If X_i\sim N(\mu,\sigma^2), then \sum_{i=1}^n X_i \sim N(\mu,\sigma^2/n)

定理1:If X_i\sim N(0,1), then
\sqrt{n}\bar{X}\sim N(0,1) and n(\bar{X^2}-(\bar{X})^2)\sim\chi^2(n-1)

推论1:If X_i\sim N(\mu,\sigma^2), then
(1) \frac{\sqrt{n}}{\sigma}(\bar{X}-\mu)\sim N(0,1)
(2) \frac{n\hat{\sigma^2}}{\sigma^2}\sim\chi^2(n-1)

上面(1)和(2)中,N(0,1)\chi^2(n) 的函数形状都是 x 轴上方隆起一个包。而置信度为 \alpha 的置信区间就是裁掉函数形状左端和右端面积分别为 (1-\alpha)/2 的两块,剩下的中间这段区间 [c_1,c_2]。其中 c_1, c_2可以通过查函数表得到。

根据(2),给定一组采样,n, \chi^2(n), \hat{\sigma^2} 都是已知的,只有我们关心的 \sigma^2 是未知的。所以根据 c_1 \leq \frac{n\hat{\sigma^2}}{\sigma^2} \leq c_2 就可以得到 \frac{n\hat{\sigma^2}}{c_2} \leq \sigma^2 \leq \frac{n\hat{\sigma^2}}{c_1}

但是在(1)中,有两个未知参数 \mu\sigma。如果我们能假设 \sigma 是已知的,那么我们可以查 N(0,1) 的置信区间函数表,用上面类似的办法得到 \mu 的置信区间。可是现实中很难假设 \sigma 已知。此时我们得借用 Student-t 分布的概念和一些数学变形技巧

定义2:If Y_0, Y_1,\ldots,Y_n\sim N(0,1), then Y_0 / \sqrt{\frac{1}{n} (Y_1^2+\ldots+Y_n^2)} \sim t(n)

因为(1)所以可以有 Y_0=\frac{\sqrt{n}}{\sigma}(\bar{X}-\mu);因为(2),所以可以有 \frac{n\hat{\sigma^2}}{\sigma^2}=Y_1+\ldots+Y_n。代入定义2,得到

(3)  \frac{\sqrt{n-1}}{\hat{\sigma}}(\bar{X}-\mu)\sim t(n-1)

这里只有 \mu 是未知的,所以可以通过查表 t(n-1) 得到 c,并且有 -c\leq\frac{\sqrt{n-1}}{\hat{\sigma}}(\bar{X}-\mu)\leq c;变形得到 \bar{X}-c\frac{\hat{\sigma}}{\sqrt{n-1}}\leq \mu \leq\bar{X}+c\frac{\hat{\sigma}}{\sqrt{n-1}}