样本方差的无偏估计

/ 机器学习 / 没有评论 / 94浏览

无偏估计

从期望为\(\ \mu\ \),方差为\(\ \sigma\ \)的一个分布X中随机抽取n个样例\(x^(1),x^(2),......,x^(n))\)。用这n个样例来估计原分布的参数,如果抽取足够多次,估计值的平均值跟原分布的参数相同,则称为无偏估计

对期望的无偏估计

用这个n个样例来估计原分布的期望就是一个无偏估计。 n个样例的平均值为:$$\bar{x}=\frac{1}{n}\sum_{i=1}^{n}x^{(i)}$$ 用这n个样例的平均值来估计原分布的期望: $$\begin{align}E(\bar{x})&=E(\frac{1}{n}\sum_{i=1}^{n}x^{(i)})\\ &=\frac{1}{n}\sum_{i=1}^{n}E(x^{(i)})\\ &=\mu \end{align} $$ 因此对期望的估计是一个无偏估计

对方差的无偏估计

但是如果我们用这n个样例来估计原分布的方差:
n个样例的方差:$$s^2=\frac{1}{n}\sum_{i=1}^{n}(x^{(i)}-\bar{x})^2$$ 用\(s^2\)来估计原分布的方差:$$\begin{align} E(s^2)&=E(\frac{1}{n}\sum_{i=1}^{n}(x^{(i)}-\bar{x})^2)=E(\frac{1}{n}\sum_{i=1}^{n}(x^{(i)2}-2x^{(i)}\bar{x}+\bar{x}^2))\\ &=\frac{1}{n}E(\sum_{i=1}^{n}(x^{(i)})^2)-\frac{1}{n}E(2n\bar{x}^2-\bar{x}^2)\\ &=\frac{1}{n}\sum_{i=1}^{n}E((x^{(i)})^2)-E(\bar{x}^2)\tag{1} \end{align}$$ 而根据方差的定义我们知道: $$E(x^2)=\sigma^2+E(x)^2=\sigma^2+\mu^2\tag{2}$$ 由于\(\bar{x}\)也是一个随机变量,也有方差: $$D(\bar{x})=D(\frac{1}{n}\sum_{i=1}^{n}x^{(i)})=\frac{1}{n^2}\sum_{i=1}^{n}D(x^{(i)})=\frac{\sigma^2}{n}$$ $$E(\bar{x}^2)=\frac{\sigma^2}{n}+E(\bar{x})^2=\frac{\sigma^2}{n}+\mu^2\tag{3}$$ 把(2),(3)代入(1)中就得到方差的估计值: $$E(s^2)=\frac{n-1}{n}\sigma^2$$ 可以看到对方差的估计不是无偏估计。 要想得到一个无偏估计,则需要对样本方差乘上一个系数\(\frac{n}{n-1}\)。即: $$\frac{n}{n-1}s^2=\frac{1}{n-1}\sum_{i=1}^{n}(x^{(i)}-\bar{x})^2$$ 这就是对方差的无偏估计系数不是\(\frac{1}{n}\)而是\(\frac{1}{n-1}\)的原因。