概率論 Cheat Sheet 28：中心極限定理和強大數定律
Contents
1. 中心極限定理
中心極限定理設 $X_1, X_2, \cdots$ 為獨立同分布的隨機變數序列，其公共分佈的均值為 $\mu$，方差為 $\sigma^2$。則隨機變數
\begin{equation}
\frac{X_1 + \cdots + X_n – n\mu}{\sigma \sqrt{n}} \tag{1}
\end{equation}
的分佈當 $n \rightarrow \infty$ 時趨向於標準正態分佈，即對任何 $-\infty < a < \infty$，有
\begin{equation}
P\Big\{ \frac{X_1 + \cdots + X_n – n\mu}{\sigma \sqrt{n}} \leq a \Big\} \rightarrow \frac{1}{\sqrt{2\pi}} \int_{-\infty}^a e^{-x^2/2} \mathrm{d}x \qquad n \rightarrow \infty \tag{2}
\end{equation}
中心極限定理說明大量獨立隨機變數的和近似地服從正態分佈。中心極限定理不僅提供了計算獨立隨機變數和的簡便方法，同時也幫助解釋了現實世界中許多實際的總體分佈的頻率曲線呈現鐘形曲線（即正態密度）的原因。
引理設 $Z_1, Z_2, \cdots$ 為一公共分佈函式為 $F_{Z_n}$ 的隨機變數序列，相應的矩母函式為 $M_{Z_n}$（$n \geq 1$）。又設 $Z$ 的分佈為 $F_Z$，矩母函式為 $M_Z$，若 $M_{Z_n}(t) \rightarrow M_Z(t)$ 對一切 $t$ 成立，則 $F_{Z_n}(t) \rightarrow F_Z(t)$ 對於 $F_Z(t)$ 的所有連續點成立。
若 $Z$ 為標準正態分佈，則 $M_Z(t) = e^{t^2/2}$，由上述引理可知，若當 $n \rightarrow \infty$ 時 $M_{Z_n}(t) \rightarrow e^{t^2/2}$，則當 $n \rightarrow \infty$ 時 $F_{Z_n}(t) \rightarrow \Phi(t)$。
2. 強大數定律
強大數定律設 $X_1, X_2, \cdots$ 為一獨立同分布的隨機變數序列，其公共均值 $\mu = E[X]$ 有限，則下式以概率 $1$ 成立
\begin{equation}
\frac{X_1 + X_2 + \cdots + X_n}{n} \rightarrow \mu \qquad n \rightarrow \infty \tag{3}
\end{equation}
強大數定律說明獨立同分布的隨機變數序列的均值以概率 $1$ 收斂到分佈的均值。作為強大數定律的一個應用，設有一獨立重複試驗序列，令 $E$ 為某一事件，$P(E)$ 為事件 $E$ 發生的概率，又令
\begin{equation}
X_i = \begin{cases} 1 & E \; 在第 \; i \; 次試驗中發生 \\
0 & E \; 在第 \; i \; 次試驗中不發生\end{cases}
\end{equation}
由強大數定律，以概率 $1$ 有
\begin{equation}
\frac{X_1 + X_2 + \cdots + X_n}{n} \rightarrow E[X] = P(E) \tag{4}
\end{equation}
因為 $X_1 + \cdots + X_n$ 表示在前 $n$ 次試驗中事件 $E$ 發生的次數，因此式 $(4)$ 說明事件 $E$ 在前 $n$ 次試驗中發生的頻率以概率 $1$ 收斂到它的概率 $P(E)$。