跳至主要內容

参数估计

大约 4 分钟

参数估计

概念

已知总体分布类型, 与容量为 n 的样本的值 x1,x2,...,xnx_1, x_2, ..., x_n, 但参数未知 θi\theta_i, 通过特定估计量(统计量), 估计未知参数

矩估计法 P100

单个参数

  1. 使用 X‾=1n∑i=1nXi\overline{X}=\frac{1}{n}\sum_{i=1}^nX_i 估计总体均值 EXEX
  2. 寻找参数与总体期望的关系 EX=g(θi)EX=g(\theta_i)
  3. 解方程(xix_i 为已知量/常数)

1n∑i=1nxi=g(θi^) \frac{1}{n}\sum_{i=1}^nx_i=g(\hat{\theta_i})

双参数

  1. 使用 X‾=1n∑i=1nXi2\overline{X}=\frac{1}{n}\sum_{i=1}^nX_i^2 估计总体均值 E(X2)E(X^2)
  2. 寻找参数与总体期望以及平方期望的关系

EX=g(θ1,θ2)E(X2)=f(θ1,θ2) \begin{split}EX&=g(\theta_1,\theta_2)\\E(X^2)&=f(\theta_1,\theta_2)\end{split}

  1. 解方程
  2. 可使用

S∗2=1n∑i=1n(Xi−X‾)2 S^{*2}=\frac{1}{n}\sum_{i=1}^n(X_i-\overline{X})^2

估计 DXDX, 代替 E(X2)E(X^2) , 注意不是 S2S^2, 此处分母为 nn

不变性

未知参数 θ\theta 有矩估计 θ^(x1,x2,...,xn)\hat{\theta}(x_1,x_2,...,x_n) , 对于未知参数 θ′=g(θ)\theta'=g(\theta), g(θ)g(\theta) 单值单调(有单值反函数)(概率分布函数符合这一性质), 则 θ′\theta' 的矩估计 θ′^=g(θ^)\hat{\theta'}=g(\hat{\theta})

极大似然估计 P103

概念

  1. 假设实验结果出现的概率极大, 因此分布的参数应使实验结果出现的概率达到最大值, 以符合这一要求
  2. 各个样本之间独立同分布
  3. 求 θ\theta 使 L 取得最大值

L(θ)=P(X1=x1,X2=x2,...,Xn=xn)=P(X1=x1)P(X2=x2)...P(Xn=xn) L(\theta)=P(X_1=x_1,X_2=x_2,...,X_n=x_n)=P(X_1=x_1)P(X_2=x_2)...P(X_n=x_n)

连续型

  1. 使用概率密度观察该点的函数值
  2. 此时 θ\theta 为密度函数内的一个未知参数, 将这个参数作为变量, 随机变量的取值为已知量(常量)

L(θ)=f(x1;θ)f(x2;θ)...f(xn;θ) L(\theta)=f(x_1;\theta)f(x_2;\theta)...f(x_n;\theta)

  1. 求使 L(θ)L(\theta) 达到最大值的 θ^\hat{\theta} , 等价于使 ln[L(θ)]ln[L(\theta )] 达到最大值, 可用于简化求值

ln[L(θ)]=ln[f(x1;θ)]+ln[f(x2;θ)]+...+ln[f(xn;θ)] ln[L(\theta)]=ln[f(x_1;\theta)]+ln[f(x_2;\theta)]+...+ln[f(x_n;\theta)]

  1. 对 θ\theta 求导, xix_i 为常量, 求出最大值点, 得到 θ^\hat{\theta}
  2. 多个未知参数则求偏导
  3. 导数不为零时, 结合 xix_i 对未知参数的限制, 分析得出未知参数 P105

离散型

  1. L(θ)=P(X1=x1;θ)P(X2=x2;θ)...P(Xn=xn;θ) L(\theta)=P(X_1=x_1;\theta)P(X_2=x_2;\theta)...P(X_n=x_n;\theta)

  2. 同连续型, 取对数求导

性质

  1. 不变性 未知参数 θ\theta 有极大似然估计 θ^(x1,x2,...,xn)\hat{\theta}(x_1,x_2,...,x_n) , 对于未知参数 θ′=g(θ)\theta'=g(\theta), g(θ)g(\theta) 单值单调(有单值反函数)(概率分布函数符合这一性质), 则 θ′\theta' 的极大似然估计 θ′^=g(θ^)\hat{\theta'}=g(\hat{\theta})
  2. 正态分布总体的极大似然估计

μ=X‾=1n∑i=1nXi \mu=\overline{X}=\frac{1}{n}\sum_{i=1}^nX_i

σ2=1n∑i=1n(Xi−μ)2 \sigma^2=\frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2

估计量的选择标准

使用估计量 Z=f(X1,X2,...,Xn)Z=f(X_1,X_2,...,X_n) 估计参数 θ\theta

无偏性

  1. 当 EZ=θEZ=\theta 称 ZZ 为参数 θ\theta 的无偏估计
  2. 当 lim⁡n→∞(EZ−θ)=0\lim_{n\to\infty}(EZ-\theta)=0 称 ZZ 为参数 θ\theta 的渐近无偏估计
  3. 否则称 ZZ 为参数 θ\theta 的有偏估计

有效性

使用无偏估计量 Z1=f(X1,X2,...,Xn)Z_1=f(X_1,X_2,...,X_n) 与 Z2=f(X1,X2,...,Xn)Z_2=f(X_1,X_2,...,X_n) 估计参数 θ\theta 当 DZ1<DZ2DZ_1<DZ_2 则称 Z1Z_1 比 Z2Z_2 有效

一致性

当估计量序列(Zn=f(X1,X2,...,Xn)Z_n=f(X_1,X_2,...,X_n)) 依概率收敛于 θ\theta, 则称 ZZ 为参数 θ\theta 的一致估计量 对于任意 ε>0\varepsilon>0

lim⁡n→∞P(∣Zn−θ∣>ε)=0 \lim_{n\to\infty}P(|Z_n-\theta|>\varepsilon)=0

区间估计

对于参数 θ\theta

P(u‾≤θ≤u‾)=1−α P(\underline{u}\le\theta\le\overline{u})=1-\alpha

  1. u‾\underline{u} 置信下限
  2. u‾\overline{u} 置信上限
  3. α\alpha 置信水平
  4. [u‾,u‾][\underline{u},\overline{u}] 置信区间 对于一个置信水平可能有多个置信区间, (正态分布)一般取关于关于均值对称的区间
  5. L=u‾−u‾L=\overline{u}-\underline{u} 置信长度

正态总体, 已知 σ2 求 μ

根据

Xˉ−μσ/n∼N(0,1) \frac{\bar{X}-\mu}{\sigma/\sqrt{n}}\sim N(0,1)

  1. 设未知变量 aa

P(∣Xˉ−μσ/n∣<a)=1−α P(|\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}|<a)=1-\alpha

P(Xˉ−σna<μ<Xˉ+σna)=1−α P(\bar{X}-\frac{\sigma}{\sqrt{n}}a<\mu<\bar{X}+\frac{\sigma}{\sqrt{n}}a)=1-\alpha

  1. 求未知变量 aa 求对立事件

P(Xˉ−μσ/n<−a)+P(Xˉ−μσ/n>a)=α P(\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}<-a)+P(\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}>a)=\alpha

根据标准正态密度函数的对称性

P(Xˉ−μσ/n<−a)=P(Xˉ−μσ/n>a)=α2 P(\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}<-a)=P(\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}>a)=\frac{\alpha}{2}

可得

a=Nα2 a=N_{\frac{\alpha}{2}}

即标准正态分布上侧的 α2\frac{\alpha}{2} 分位点 3. 结果 置信区间

[Xˉ−σnNα2,Xˉ+σnNα2] [\bar{X}-\frac{\sigma}{\sqrt{n}}N_{\frac{\alpha}{2}},\bar{X}+\frac{\sigma}{\sqrt{n}}N_{\frac{\alpha}{2}}]

置信长度

L=2σnNα2 L=2\frac{\sigma}{\sqrt{n}}N_{\frac{\alpha}{2}}

正态总体, 求 μ

根据 正态总体的抽样分布

Xˉ−μS/n∼t(n−1) \frac{\bar{X}-\mu}{S/\sqrt{n}}\sim t(n-1)

  1. σ2\sigma^2 使用统计量 SS 估计(注意 SS 中的分母与 tt 分布的 n−1n-1)
  2. tt 分布密度函数具有对称性, 可得 a=tα2(n−1)a=t_{\frac{\alpha}{2}}(n-1)
  3. 同已知 σ2\sigma^2 的方式处理 得到结果 置信区间

[Xˉ−Sntα2(n−1),Xˉ+Sntα2(n−1)] [\bar{X}-\frac{S}{\sqrt{n}}t_{\frac{\alpha}{2}}(n-1),\bar{X}+\frac{S}{\sqrt{n}}t_{\frac{\alpha}{2}}(n-1)]

置信长度

L=2Sntα2(n−1) L=2\frac{S}{\sqrt{n}}t_{\frac{\alpha}{2}}(n-1)