降維演算法 — 主成分分析 (PCA)

概述

主成分分析（Principal Component Analysis，PCA）是最常用的維度降低技術。在機器學習和資料分析中，高維資料往往包含冗餘資訊和雜訊，不僅增加計算成本，還可能導致過擬合。PCA 通過線性變換將原始高維資料投影到一個低維子空間，同時盡可能保留資料的變異性（資訊量）。

原理

PCA 的核心步驟如下：

1. 標準化：將資料標準化（均值為 0，標準差為 1）
2. 共變異數矩陣：計算特徵間的共變異數矩陣
3. 特徵分解：對共變異數矩陣進行特徵值分解，找出特徵值和特徵向量
4. 選擇主成分：選擇特徵值最大的 k 個特徵向量作為主成分
5. 投影：將原始資料投影到選擇的主成分上，得到降維後的表示

優點與應用

• 降低維度：減少計算成本和儲存空間
• 去除雜訊：忽略變異較小的成分可去除雜訊
• 視覺化：將高維資料降維到 2D 或 3D 以便可視化
• 去除相關性：主成分之間彼此正交，去除特徵間的相關性
• 特徵壓縮：用較少維度保留大部分資訊

其他降維方法

• t-SNE：非線性降維，特別適合視覺化高維資料的流形結構
• UMAP：基於流形學習的現代降維方法，速度快且效果好
• LDA：線性判別分析，有監督的降維方法
• Autoencoder：使用神經網路進行非線性降維

本課程範例

• pca.py — PCA 實作

相關連結

• Wiki: 主成分分析
• 非監督式學習
• 聚類演算法