概率论与数理统计期末复习
期末之前临时抱佛脚，复习数理统计
数理统计部分
统计量
样本平均值 \[\bar{X}=\frac{1}{n}\sum_{i=1}^nX_i\]
样本方差 \[S^2 = \frac{1}{n-1}\sum_{i=1}^n(X_i-\bar{X})^2\]
样本标准差 \[S = \sqrt{S^2}\]
样本 k 阶（原点）矩 \[A_k=\frac{1}{n}\sum_{i=1}^nX^k_i,\quad k=1,2,...;\]
样本 k 阶中心矩 \[B_k=\frac{1}{n}\sum_{i=1}^n(X_i-\bar{X})^k,\quad k=1,2,...;\]
重要定理
Levy-Lindberg 定理 对于已知期望\(E(X_k) = \mu\)、方差\(D(X_k)=\sigma^2\)的独立同分布随机变量，有样本均值
\[\bar{X}\sim N(\mu, \sigma^2/n)\]
Liapunov 中心极限定理 对于已知期望\(E(X_k) = \mu_k\)、方差\(D(X_k)=\sigma^2_k\)的独立非同分布随机变量，有样本之和
\[\sum_{k=1}^nX_k\sim N(\sum_{k=1}^n\mu_k, \sum_{k=1}^n\sigma_k^2)\]
上面两个定理，我们可以将其用于对于之后的样本估计，其核心思想是将未知分布的随机变量的样本当做正态分布来处理。
重要分布
| 名称 | 定义 | 性质 | 数学期望和方差 | 对称性 |
|---|---|---|---|---|
| \(\chi^2\)分布 | \[\chi^2=\sum_{i=1}^nX_i^2, \quad X_i\sim N(0,1)\] | \[\chi^2_1+\chi^2_2\sim\chi^2(n_1+n_2)\] | \[E(\chi^2)=n,\quad D(\chi^2)=2n\] | 非对称 |
| \(t\)分布 | \[t=\frac{X}{\sqrt{Y/n}}, \quad X\sim N(0,1),Y\sim \chi^2(n)\] | 上下分位点对称 | 无 | 对称 |
| \(F\)分布 | \[F=\frac{U/n_1}{V/n_2}, \quad U\sim\chi^2(n_1),V\sim\chi^2(n_2)\] | \[\frac{1}{F}\sim F(n_2,n_1)\] \[F_{1-\alpha}(n_1,n_2) = \frac{1}{F_\alpha(n_2,n_1)}\] | 无 | 非对称 |
样本的性质
四大定理
对于来自正态总体的样本\(X_i\)，其样本均值、方差分别为\(\bar{X}\)、\(S^2\)，总体的均值为\(\mu\)、\(\sigma^2\)
样本均值的分布
\[\bar{X}\sim N(\mu,\sigma^2/n)\]
样本方差的分布
- \(\frac{(n-1)S^2}{\sigma^2}\sim \chi^2(n-1)\)
- \(\bar{X}\)、\(S^2\) 相互独立
样本均值、标准差组成的分布
\[\frac{\bar{X}-\mu}{S/\sqrt{n}}\sim t(n-1)\]
来自正态的独立样本相关分布
前置条件，已知有如下的定理成立
\[\bar{X}-\bar{Y}\sim (\mu_1-\mu_2, \frac{\sigma^2_1}{n_1}+\frac{\sigma^2_2}{n_2})\]
\(\frac{S^2_1/S^2_2}{\sigma^2_1/\sigma^2_2}\sim F(n_1-1,n_2-1)\)
若有\(\sigma^2_1=\sigma^2_2=\sigma^2\) （整体方差相等）
\[\frac{(\bar{X}-\bar{Y})-(\mu_1-\mu_2)}{S_w\sqrt{1/n_1+1/n_2}}\sim t(n_1+n_2-2)\]
\[S_w^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}, \quad S_w=\sqrt{S^2_w}\]
参数估计
对于已知分布函数的总体\(X\)的部分参数的估计。
点估计
估计值：使用\(x_1,x_2,x_3,...,x_n\)表示的参数值
估计量：使用\(X_1,X_2,X_3,...,X_n\)表示的参数值
矩估计法 使用样本原点矩对总体参数进行估计，即，使用\(A_i\)来替代\(E(X^i)\)，代入等式得到参数的估计值。
极大似然估计法 对于分布律形如\(P\{X=x\}=p(x;\theta)\)的离散型随机变量或者概率密度函数形如\(f(x;\theta)\)，令
则有\(\hat{\theta}=argmax L(x_1,x_2,...,x_n,\theta)\)
点估计的无偏性 对于一个参数\(\theta\)的估计量\(\hat{\theta}\)，当且仅当\(E(\hat{\theta})=\theta\)时，有\(\hat{\theta}\)为\(\theta\)的无偏估计。
区间估计
对于分布函数为\(F(x;\theta)\)的随机变量总体\(X\)，若存在
\[P\{\underline{\theta}(X_1,X_2,...,X_n)<\theta<\bar{\theta}(X_1,X_2,...,X_n)\}\ge1-\alpha\]
则称 \(\underline \theta\) 和 \(\bar \theta\) 为 \(\theta\) 的置信水平为 \(1-\alpha\) 的置信下限和置信上限。
题目做法 首先找到参数的一个无偏估计，然后运用此无偏估计和参数构造枢轴量（不依赖于未知参数的服从已知分布的随机变量），使用该枢轴量得到对应的未知参数的置信区间（参考 P161 例 1）。
单个正态总体的估计
正态总体 \(X\sim N(\mu,\sigma^2)\)，置信水平\(1-\alpha\)
\(\mu\)的置信区间
\(\sigma\)已知 置信区间为 \((\bar{X}\pm \frac{\sigma}{\sqrt{n}}z_{\alpha/2})\) （\(z_{\alpha/2}\)为标准正态的上\(\alpha/2\)分位点）
\(\sigma\)未知 置信区间为\((\bar X \pm \frac{S}{\sqrt{n}}t_{\alpha/2}(n-1))\)
\(\sigma^2\)的置信区间
\[(\frac{\sqrt{n-1}S}{\sqrt{\chi^2_{\alpha/2}(n-1)}},\frac{\sqrt{n-1}S}{\sqrt{\chi^2_{1-\alpha/2}(n-1)}})\]
两个正态总体
正态总体 \(X_i\sim N(\mu_i,\sigma_i^2)\)，置信水平\(1-\alpha\)
\(\mu_1-\mu_2\)的置信区间
\[(\bar{X_1}-\bar{X_2}\pm t_{\alpha/2}(n_1+n_2-2)S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}})\]
其中\(S_w\)的定义和前文相同。
\(\sigma_1^2/\sigma_2^2\)的置信区间
\[(\frac{S_1^2}{S_2^2}\frac{1}{F_{\alpha/2}(n_1-1,n_2-1)},\frac{S_1^2}{S_2^2}\frac{1}{F_{1-\alpha/2}(n_1-1,n_2-1)})\]
假设检验
P189，表 8-1