數理統計 Cheat Sheet 12：假設檢驗
1. 定義
假設檢驗是在總體分佈函式完全未知或只知其形式、但不知其引數的情況下，為了推斷總體的某些未知特性，提出某些關於總體的假設，並根據樣本對所提出的假設做出接受還是拒絕的決策。
例如對於某正態總體 $X$，已知其方差為 $\sigma^2$，但不知其均值 $\mu$。現在要根據樣本判斷均值 $\mu$ 是否為某一特定值 $\mu_0$，提出兩個相互對立的假設：
\begin{align}
&H_0: \mu = \mu_0 \\
&H_1: \mu \neq \mu_0
\end{align}
因為 $\overline X$ 是 $\mu$ 的無偏估計，$\overline X$ 的觀察值 $\overline x$ 的大小在一定程度上可以反映 $\mu$ 的大小。因此，如果假設 $H_0$ 為真，則觀察值 $\overline x$ 與 $\mu_0$ 的偏差 $|\overline x – \mu_0|$ 一般不應太大。若 $|\overline x – \mu_0|$ 過分大，則有理由懷疑 $H_0$ 的正確性，從而拒絕 $H_0$。當 $H_0$ 為真時，$\frac{\overline X – \mu_0}{\sigma / \sqrt{n}} \sim N(0, 1)$，而衡量 $|\overline x – \mu_0|$ 的大小可以回結尾衡量 $\frac{\overline x – \mu_0}{\sigma / \sqrt{n}} \sim N(0, 1)$ 的大小。基於以上考慮，可以適當選定一正數 $k$，使當觀察值 $\overline x$ 滿足 $\frac{\overline x – \mu_0}{\sigma / \sqrt{n}} \geq k$ 時就拒絕 $H_0$；反之，若 $\frac{\overline x – \mu_0}{\sigma / \sqrt{n}} < k$ 時則接受 $H_0$。
由於做出決策的依據是一個樣本，實際上 $H_0$ 為真時仍可能做出拒絕 $H_0$ 的決策，這種錯誤記為
\begin{equation}
P\{當 \; H_0 \; 為真拒絕 \; H_0 \} \; 或 \; P_{\mu_0}\{拒絕 \; H_0 \} \; 或 \; P_{\mu \in H_0}\{拒絕 \; H_0 \}
\end{equation}
記號 $P_{\mu_0}\{\cdot\}$ 表示引數 $\mu$ 取 $\mu_0$ 時事件 $\{\cdot\}$ 的概率，$P_{\mu \in H_0}\{\cdot\}$ 表示 $\mu$ 取 $H_0$ 規定的值時 $\{\cdot\}$ 的概率。我們無法排除犯這類錯誤的可能性，但希望將犯這類錯誤的概率控制在一定範圍內，即給出一個較小的數 $\alpha$（$0 < \alpha < 1$），使犯這類錯誤的概率不超過 $\alpha$，即使得
\begin{equation}
P\{當 \; H_0 \; 為真拒絕 \; H_0 \} \leq \alpha \tag{1}
\end{equation}
為了確定常數 $k$，考慮統計量 $\frac{\overline X – \mu_0}{\sigma / \sqrt{n}}$，由於只允許犯這類錯誤的概率最大為 $\alpha$，令式 $(1)$ 右端取等號，即令
\begin{equation}
P\{當 \; H_0 \; 為真拒絕 \; H_0 \} = P_{\mu_0}\bigg\{ \bigg\vert \frac{\overline X – \mu_0}{\sigma / \sqrt{n}} \bigg\vert \geq k \bigg\} = \alpha
\end{equation}
由於當 $H_0$ 為真時，$Z = \frac{\overline X – \mu_0}{\sigma / \sqrt{n}} \sim N(0, 1)$，由標準正態分佈分位點的定義，有
\begin{equation}
k = z_{\alpha / 2}
\end{equation}
因而若 $Z$ 的觀察值滿足
\begin{equation}
|z| = \bigg| \frac{\overline x – \mu_0}{\sigma / \sqrt{n}} \bigg| \geq k = z_{\alpha / 2}
\end{equation}
則拒絕 $H_0$。而若
\begin{equation}
|z| = \bigg| \frac{\overline x – \mu_0}{\sigma / \sqrt{n}} \bigg| < k = z_{\alpha / 2}
\end{equation}
則接受 $H_0$。
當樣本容量固定時，選定 $\alpha$ 後，數 $k$ 就可以確定，然後按照統計量 $Z = \frac{\overline X – \mu_0}{\sigma / \sqrt{n}}$ 的觀察值的絕對值 $|z|$ 大於等於 $k$ 還是小於 $k$ 來做出決策。數 $k$ 是檢驗假設的一個門檻值，如果 $|z| = \bigg| \frac{\overline x – \mu_0}{\sigma / \sqrt{n}} \bigg| \geq k$，則稱 $\overline x$ 與 $\mu_0$ 的差異是顯著的，這時拒絕 $H_0$；反之，如果 $|z| = \bigg| \frac{\overline x – \mu_0}{\sigma / \sqrt{n}} \bigg| < k$，則稱$\overline x$ 與 $\mu_0$ 的差異是不顯著的，這時接受$H_0$。數 $\alpha$ 稱為顯著性水平 ，上面關於 $\overline x$ 與 $\mu_0$ 的有無顯著差異的判斷是在顯著性水平 $\alpha$ 之下做出的。
統計量 $Z = \frac{\overline X – \mu_0}{\sigma / \sqrt{n}}$ 稱為檢驗統計量 。
2. 雙邊假設檢驗
前面的檢驗問題可以敘述成：在顯著性水平 $\alpha$ 下，檢驗假設
\begin{equation}
H_0: \mu = \mu_0, \quad H_1: \mu \neq \mu_0 \tag{2}
\end{equation}
也常說成“在顯著性水平 $\alpha$ 下，針對 $H_1$ 檢驗 $H_0$”。$H_0$ 稱為原假設 或零假設 ，$H_1$ 稱為備擇假設 。我們要根據樣本，按上述檢驗方法做出在 $H_0$ 和 $H_1$ 中接受其一的決策。
當檢驗統計量取某個區域 $C$ 中的值時，我們拒絕原假設 $H_0$，則稱區域 $C$ 為拒絕域 ，拒絕域的邊界點稱為臨界點 。如在前文中，拒絕域為 $|z| \geq z_{\alpha / 2}$，而 $z = – z_{\alpha / 2}$ 和 $z = z_{\alpha / 2}$ 為臨界點。
由於檢驗法則是根據樣本做出的，總有可能做出錯誤的決策。在假設 $H_0$ 為真時，可能犯拒絕 $H_0$ 的錯誤，稱這類“棄真”的錯誤為第 I 累錯誤。又當 $H_0$ 實際上不真時，也有可能接受 $H_0$，稱這類“取偽”的錯誤為第 II 類錯誤。犯第 II 類錯誤的概率記為
\begin{equation}
P\{當 \; H_0 \; 不真接受 \; H_0 \} \; 或 \; P_{\mu_0 \in H_1}\{接受 \; H_0 \}
\end{equation}
為此，在確定檢驗法則時，應儘可能使犯兩類錯誤的概率都較小，但一般來說，當樣本容量固定時，若減小犯一類錯誤的概率，則犯另一類錯誤的概率往往增大。若要使犯兩類錯誤的概率都減小，除非增加樣本容量。在給定樣本容量的情況下，一般來說，我們總是控制犯第 I 類錯誤的概率，是它不大於 $\alpha$，$\alpha$ 通常去 $0.1, 0.05, 0.01, 0.005$ 等值。這種只對犯第 I 類錯誤的概率加以控制，而不考慮犯第 II 類錯誤的概率的檢驗，稱為顯著性檢驗 。
形如式 $(2)$ 中的備擇假設 $H_1$，表示 $\mu$ 可能大於 $\mu_0$，也可能小於 $\mu_0$，稱為雙邊備擇假設 ，而稱形如 $(2)$ 的假設檢驗為雙邊假設檢驗 。
3. 單邊假設檢驗
有時我們只關心總體均值是否增大，例如總體均值為 $\mu$（未知），新樣本的均值為 $\mu_0$，形如
\begin{equation}
H_0: \mu \leq \mu_0, \quad H_1: \mu > \mu_0 \tag{3}
\end{equation}
的假設檢驗稱為右邊檢驗 。類似地，形如
\begin{equation}
H_0: \mu \geq \mu_0, \quad H_1: \mu < \mu_0 \tag{4}
\end{equation}
的假設檢驗稱為左邊檢驗 。
設總體 $X \sim N(\mu, \sigma^2)$，$\mu$ 未知，$\sigma^2$ 已知，$X_1, X_2, \cdots, X_n$ 是來自 $X$ 的樣本。給定顯著性水平 $\alpha$，考慮 $(3)$ 中的檢驗問題
\begin{equation}
H_0: \mu \leq \mu_0, \quad H_1: \mu > \mu_0
\end{equation}
因 $H_0$ 中的全部 $\mu$ 都比 $H_1$ 中的 $\mu$ 小，當 $H_1$ 為真時，觀察值 $\overline x$ 往往偏大，因此拒絕域的形式為
\begin{equation}
\overline x > k, \quad k \; 是某一正常數
\end{equation}
為確定常數 $k$，由
\begin{align}
P\{當 \; H_0 \; 為真拒絕 \; H_0\} &= P_{\mu \in H_0} \{\overline X > k \} \\
&= P_{\mu \leq \mu_0}\bigg\{ \frac{\overline X – \mu_0}{\sigma / \sqrt{n}} \geq \frac{k – \mu_0}{\sigma / \sqrt{n}} \bigg\} \\
&\leq P_{\mu \leq \mu_0}\bigg\{ \frac{\overline X – \mu}{\sigma / \sqrt{n}} \geq \frac{k – \mu_0}{\sigma / \sqrt{n}} \bigg\}
\end{align}
要控制 $P\{當 \; H_0 \; 為真拒絕 \; H_0\} \leq \alpha$，只需令
\begin{equation}
P_{\mu \leq \mu_0}\bigg\{ \frac{\overline X – \mu}{\sigma / \sqrt{n}} \geq \frac{k – \mu_0}{\sigma / \sqrt{n}} \bigg\} = \alpha \tag{5}
\end{equation}
由於 $\frac{\overline X – \mu}{\sigma / \sqrt{n}} \sim N(0, 1)$，由式 $(5)$ 得到 $\frac{k – \mu_0}{\sigma / \sqrt{n}} = z_\alpha$，$k = \mu_0 + \frac{\sigma}{\sqrt{n}}z_\alpha$，即得檢驗問題 $(3)$ 的拒絕域為
\begin{equation}
\overline x \geq\mu_0 + \frac{\sigma}{\sqrt{n}}z_\alpha
\end{equation}
即
\begin{equation}
z = \frac{\overline x – \mu_0}{\sigma / \sqrt{n}} \geq z_\alpha \tag{6}
\end{equation}
類似地，可得左邊檢驗問題 $(4)$
\begin{equation}
H_0: \mu \geq \mu_0, \quad H_1: \mu < \mu_0
\end{equation}
的拒絕域為
\begin{equation}
z = \frac{\overline x – \mu_0}{\sigma / \sqrt{n}} \leq – z_\alpha \tag{7}
\end{equation}
4. 一般步驟
綜上所述，處理引數的假設檢驗問題的步驟為：
- 根據實際問題的要求，提出原假設 $H_0$ 及備擇假設 $H_1$；
- 給定顯著性水平 $\alpha$ 以及樣本容量 $n$；
- 確定檢驗統計量及拒絕域的形式；
- 按 $P\{當 \; H_0 \; 為真拒絕 \; H_0\} \leq \alpha$ 求出拒絕域；
- 取樣，根據樣本觀察值做出決策，是接受 $H_0$ 還是拒絕 $H_0$。、