← 回到機器學習

支持向量機 (SVM)

尋找最大間隔超平面的經典監督式學習分類器

概述

支持向量機（Support Vector Machine，SVM）是一種經典的監督式學習分類器。其核心思想是找出一個最大間隔的超平面來分類資料，使得兩類別之間的邊界最大化。SVM 在處理高維資料和小樣本問題上表現出色，是機器學習領域最受歡迎的演算法之一。

原理

SVM 的目標是找到一個超平面 wx + b = 0，不僅能正確分類所有訓練樣本，而且使支援向量（離超平面最近的樣本）到超平面的距離最大化。這個最大間隔分類器具有很好的泛化能力，因為邊界越大，分類器的魯棒性越強。

# SVM 的優化目標 minimize: 1/2 * ||w||² subject to: y_i(w·x_i + b) >= 1 for all i

核心概念

支持向量：靠近超平面的關鍵訓練點，它們決定了超平面的位置
最大間隔：兩類別之間的距離，最大化間隔能提高泛化能力
軟間隔：引入鬆弛變數處理非線性可分的狀況
核函數：將資料映射到高維空間以處理非線性可分問題

核函數

核函數是 SVM 處理非線性問題的關鍵技術。常見的核函數包括：

線性核：K(x,y) = x·y，適合線性可分的資料
多項式核：K(x,y) = (x·y + r)^d
RBF 核（高斯核）：K(x,y) = exp(-γ||x - y||²)，最常用的核函數
Sigmoid 核：K(x,y) = tanh(κx·y + c)

本課程範例

svm.py — SVM 分類實作

相關連結