線性代數 Cheat Sheet 5-1：特徵向量與特徵值
儘管變換 $\boldsymbol x \mapsto A \boldsymbol x$ 有可能使向量往各個方向移動，但通常會有某些特殊向量，$A$ 對這些向量的作用是簡單的。
定義$A$ 為 $n \times n$ 矩陣，$\boldsymbol x$ 為非零向量，若存在數 $\lambda$ 使 $A \boldsymbol x = \lambda \boldsymbol x$ 有非平凡解 $\boldsymbol x$，則稱 $\lambda$ 為 $A$ 的特徵值，$\boldsymbol x$ 稱為對應於 $\lambda$ 的特徵向量。
$\lambda$ 是 $A$ 的特徵值當且僅當方程
\begin{equation}
(A – \lambda I) \boldsymbol x = \boldsymbol 0 \tag{1}
\end{equation}
有非平凡解。方程 $(1)$ 的所有解的集合就是矩陣 $A – \lambda I$ 的零空間，因此該集合是 $\mathbb{R}^n$ 的子空間，稱為 $A$ 的對應於 $\lambda$ 的特徵空間 。特徵空間由零向量和所有對應於 $\lambda$ 的特徵向量組成。
定理 1三角矩陣的主對角線的元素是其特徵值。
定理 1 中的“三角矩陣”包含上三角和下三角矩陣，對於這些矩陣，主對角線上的每一個元素都是一個特徵值。
如果一個矩陣 $A$ 有零特徵值，則方程
\begin{equation}
A \boldsymbol x = 0 \boldsymbol x
\end{equation}
有非平凡解，但上式等價於 $A \boldsymbol x = \boldsymbol 0$，而 $A \boldsymbol x = \boldsymbol 0$ 有非平凡解的充要條件是 $A$ 是不可逆的。因此，$A$ 有零特徵值的充要條件是 $A$ 不可逆。$0$ 是 $A$ 的特徵值當且僅當 $A$ 不可逆。
定理 2$\lambda_1, \cdots, \lambda_r$ 是 $n \times n$ 矩陣 $A$ 相異的特徵值，$\boldsymbol v_1, \cdots, \boldsymbol v_r$ 是與 $\lambda_1, \cdots, \lambda_r$ 對應的特徵向量，那麼向量集合 $\{\boldsymbol v_1, \cdots, \boldsymbol v_r\}$ 線性無關。
1. 特徵向量與差分方程
對於差分方程
\begin{equation}
\boldsymbol x_{k+1} = A \boldsymbol x_k \;\; (k = 0,1,2,\cdots) \tag{2}
\end{equation}
若 $A$ 是 $n \times n$ 矩陣，那麼方程 $(2)$ 是 $\mathbb{R}^n$ 序列 $\{\boldsymbol x_k\}$ 的遞迴表示。方程 $(2)$ 的解是表述序列 $\{\boldsymbol x_k\}$ 的每個 $\boldsymbol x_k$ 的顯式公式，公式不直接依賴於 $A$ 和序列前面的項，而是依賴於初始項 $\boldsymbol x_0$。
構造方程 $(2)$ 的解的最簡單的方法是取 $A$ 的一個特徵向量 $\boldsymbol x_0$ 和它對應的特徵值 $\lambda$，然後令
\begin{equation}
\boldsymbol x_{k+1} = \lambda^k \boldsymbol x_0 \;\; (k = 0,1,2,\cdots) \tag{3}
\end{equation}
這就是方程 $(2)$ 的解，因為
\begin{equation}
A \boldsymbol x_k = A(\lambda^k \boldsymbol x_0) = \lambda^k (A \boldsymbol x_0) = \lambda^{k+1} \boldsymbol x_0 = \boldsymbol x_{k+1}
\end{equation}
此外，形如 $(3)$ 的解的線性組合仍然是 $(2)$ 的解。