理學統計學，溫故統計學

0、準備

0.1 隨機變量和的方差

$$\begin{split} D(X+Y)=&E(X+Y)^2-[E(X+Y)]^2\\ =&D(X)+D(Y)+2E(XY)-2E(X)E(Y)\\ =&D(X)+D(Y)+2E\{(X-E(X))(Y-E(Y))\}\\ =&D(X)+D(Y)+2cov(X,Y) \end{split}$$
$X$與$Y$彼此獨立時，
$$D(X+Y)=D(X)+D(Y)$$
也即：
$$D(\sum_{k=1}^n X_k)=\sum_{k=1}^nD(X_k)\\ D(\frac1n\sum_{k=1}^nX_k)=\frac1{n^2}\sum_{k=1}^nD(X_k)$$

0.2 切比雪夫不等式

切比雪夫不等式考察的是單個隨機變量的情況。

設隨機變量 $X$ 具有數學期望 $E(X)=\mu$，方差為 $D(X)=\sigma^2$，則對于任意正數$\epsilon>0$，不等式：

$$P\{|X-\mu|\geq\epsilon\}\leq\frac{\sigma^2}{\epsilon^2}$$
或者
$$P\{|X-\mu|<\epsilon\}\geq1-\frac{\sigma^2}{\epsilon^2}$$
成立。

理學統計學？我們以連續型隨機變量對之進行證明：

$$\begin{split} P\{|X-\mu|\geq\epsilon\}=&\int_{|x-\mu|\geq\epsilon}f(x)dx\\ \leq&\int_{|x-\mu|\geq\epsilon}\frac{|x-\mu|^2}{\epsilon^2}f(x)dx\\ \leq&\frac1{\epsilon^2}\int_{-\infty}^{\infty}(x-\mu)^2f(x)dx\\ =&\frac{\sigma^2}{\epsilon^2} \end{split}$$

根據單隨機變量的切比雪夫不等式，我們可獲得關于方差的一個重要性質：

$D(X)=0$ 的充要條件是 $X$以概率1取常數 $E(X)$即：

$$P\{X=E(X)\}=1$$

0.3 $n$重伯努利分布的均值和方差

設隨機變量$X\sim b(n,p)$，求 $E(X),D(X)$：
由二項分布的定義可知，隨機變量 $X$是$n$重伯努利分布試驗中事件$A$發生的次數，且在每次試驗中 $A$ 發生的概率為 $p$。引入隨機變量：

$$X_k=\left \{ \begin{array}{ll} 1,&A在第k次試驗中發生,\\ 0,&A在第k次試驗中不發生 \end{array} \right.$$
易知：
$$X=X_1+X_2+\cdots+X_n$$
由于 $X_k$ 只依賴于第 $k$次試驗，而各次試驗相互獨立，于是$X_1,X_2\cdots,X_n$相互獨立，又知 $X_k,k=1,2,\cdots,n$服從$0-1$分布，
$$E(X)=E(\sum_{k=1}^nX_k)=\sum_{k=1}^nE(X_k)=np\\ D(X)=D(\sum_{k=1}^nX_k)=\sum_{k=1}^nD(X_k)=np(1-p)$$

統計學研究，

0.4 均勻分布的E(X)與D(X)

首先連續型隨機變量的：

$$\begin{split} &E(X)=\int_{-\infty}^\infty xf(x)dx\\ &D(X)=\int_{-\infty}^\infty (x-E(x))^2f(x)dx \end{split}$$

設隨機變量$X\sim U(a, b)$：

$$\begin{split} E(x)=&\frac{a+b}2\\ D(x)=&E(X^2)-(E(x))^2\\ =&\frac{(b-a)^2}{12} \end{split}$$

一、The Law of Larger Numbers（大數定律）

常見的大數定理又有兩種形式：辛欽大數定律（弱大數定理）以及它的一個重要推論伯努利大數定理。

1.1 辛欽大數定理

統計學界的大牛，設 $X_1,X_2,\cdots,X_n$ 是相互獨立，服從同一分布的隨機變量序列（i.i.d, independent identically distributed），具有數學期望 $E(X_k)=\mu$（$k=1,2,\cdots,n$）. 作前 $n$ 個變量的算術平均 $\frac1n\sum\limits_{k=1}^n X_k$，對于任意 $\epsilon<0$（無窮小量），有：

$$\lim_{n\to\infty}P\{|\frac1n\sum_{k=1}^nX_k-\mu|<\epsilon\} = 1$$

證 我們只在隨機變量的方差為 $D(X_k)=\sigma^2$（$k=1,2,\cdots,n$）存在，這一條件下證明上述結果，因為

$$E(\frac1n\sum_{k=1}^nX_k)=\frac1n\sum_{k=1}^nE(X_k)=\frac1n(n\mu)=\mu$$

極簡統計學？又根據獨立性得（$D(X+Y)=D(X)+D(Y)+2cov(x,y)$）：

$$D(\frac1n\sum_{k=1}^nX_k)=\frac1{n^2}\sum_{k=1}^nD(X_k)=\frac1{n^2}(n\sigma^2)=\frac{\sigma^2}n$$

將 $\frac1n\sum\limits_{k=1}^nX_k$ 看做一個新的隨機變量（也即單隨機變量），再根據前述的切比雪夫不等式，得：

$$P\{|\frac1n\sum_{k=1}^nX_k-\mu|\leq\epsilon\}\geq1-\frac{\sigma^2/n}{\epsilon^2}$$

當 $n\to\infty$大數定理自然成立。

統計學魏宗舒，當然很快數學家們發明了更簡潔的記號和表達描述大數定理：序列 $\frac1n\sum\limits_{k=1}^nX_k$以概率收斂于 $\mu$，記做 $\bar X\stackrel{P}{\longrightarrow}\mu$。

1.2 伯努利大數定理

設 $f_A$ 是 $n$ 次獨立重復試驗中事件$A$發生的次數，$P$是事件$A$在每次試驗中發生的概率，則對任意正數$\epsilon>0$，有：

$$\lim_{n\to\infty}P\{|\frac{f_A}{n}-p|<\epsilon\}=1$$

$f_A\sim b(n,p)$，有：

$$f_A=X_1+X_2+\cdots+X_n$$

一個通俗的理解是：樣本量足夠大的時候，樣本均值接近于期望值。

二、一個例子

統計學黃良文、假設隨機變量 $X$等于：拋100次硬幣得到的正面的次數（$X$ is equal to the # of heads after 100 tosses of a fair coin）。

首先我們自然知道該隨機變量的期望值（Expected values）：

$$\begin{split} E(X)=& 投擲/試驗次數 \times 每一次試驗成功的概率\\ =&100\times \frac12=50 \end{split}$$

大數定律是說，如果樣本量足夠大，樣本均值將趨近于期望值。

$$\begin{split} &\bar {X}_n=\frac1n\sum_{k=1}^nX_k=\frac{55+65+45+\cdots}{n}\\ &\bar {X}_n\rightarrow\mu=50\quad n\to\infty \end{split}$$

楊大成統計學。很多人會誤以為如果100次試驗后，如果正面數高于均值，大數定律會讓后面的正面數更少，這就是所謂的賭徒謬誤（gambler’s fallacy）。

事實上，概率并未發生任何改變，大數定律根本不關心前面的有限次試驗，后面還剩下無限次試驗，這無限次的期望值是50.

我們可使用python相關工具箱（scipy）對之進行簡單的仿真模擬：

import scipy.stats as st
import matplotlib.pyplot as pltdef main():n, p = 100, .5X = st.binom(n, p)# X ~ b(n, p)          X_bar = [X.rvs(i+1).mean() for i in range(10000)]plt.figure(facecolor='w', edgecolor='k')plt.plot(range(10000), X_bar, 'g.')plt.axhline(y=50)plt.savefig('./large_number.png')plt.show()if __name__ == '__main__':main()

三、中心極限定理

獨立同分布的中心極限定理

設隨機變量 $X_1,X_2,\cdots,X_n,\cdots$ 相互獨立，服從同一分布，且具有數學期望和方差：$E(X_k)=\mu,D(X_k)=\sigma^2$，則隨機變量之和 $\sum_{k=1}^nX_k$ 的標準化變量：

$$\begin{split} Y_n=&\frac{\sum\limits_{k=1}^nX_k-E(\sum\limits_{k=1}^nX_k)}{\sqrt{D(\sum\limits_{k=1}^nX_k)}}\\ =&\frac{\sum\limits_{k=1}^nX_k-n\mu}{\sqrt{n\sigma^2}} \end{split}$$

程琮醫學統計學？

當 $n$ 充分大時，有

$$Y_n=\frac{\sum\limits_{k=1}^nX_k-n\mu}{\sqrt{n}\sigma}\sim N(0,1)$$

四、中心極限定理的應用舉例

生成正態分布隨機數：
取 $n$ 個獨立同均勻分布 $X_k\sim U(0, 1)$，則 $E(X_k)=\frac12,\;D(X_k)=\frac1{12}$，根據中心極限定理，當 $n$ 比較大的時候，近似有：

$$Z=\frac{\sum\limits_{k=1}^nX_k-n\mu}{\sqrt{n\sigma^2}}\sim\mathcal{N}(0,1)$$
為了計算的方便不妨取 $n=12\times 16$，此時 $\sqrt{n\sigma^2}=4,\;n\mu=96$：

import numpy as np
import matplotlib.pyplot as plt
import seaborn as snsdef main():N = 10**5X = (np.sum(np.random.rand(N, 192), 1)-96)/4sns.set(style='dark', palette='muted', color_codes=True, font_scale=1.5)plt.figure(figsize=(10, 5))plt.hist(X, 50)plt.show()
if __name__ == '__main__':main()