衡量模型預測與實際值之間差距的優化目標函數
損失函數是機器學習中衡量模型預測與實際值之間差距的函數，是模型訓練過程中被最小化的目標函數。選擇正確的損失函數對於模型能否正確學習至關重要——它定義了學習的目標，直接影響模型的行為和最終性能。不同任務需要不同的損失函數：回歸任務通常使用 MSE 或 MAE，分類任務則常用交叉熵或 Focal Loss。
MSE (L2 Loss)：梯度平滑、處處可導，但對異常值敏感。 MAE (L1 Loss)：對異常值魯棒，但梯度在零點不連續。 Huber Loss：結合 MSE 和 MAE 的優點，誤差小於 δ 時使用 MSE，大於 δ 時使用 MAE。 Smooth L1 Loss：物體檢測中常用的邊界框回歸損失。 Quantile Loss：用於分位數回歸，可預測不確定性的上下界。 Log-Cosh Loss：平滑版本的 MAE，梯度計算比 Huber Loss 更穩定。
二元交叉熵 (BCE)：用於二分類問題。 類別交叉熵 (CCE)：用於多分類問題。 Focal Loss：減少對易分類樣本的關注，增加對難分類樣本的關注，有效解決類別不平衡問題。 標籤平滑 (Label Smoothing)：防止模型對預測過度自信，提升泛化能力。 Class-Balanced Loss：基於有效樣本數的加權策略，解決類別不平衡問題。
Contrastive Loss：正樣本對距離越小越好，負樣本對距離大於 margin。 Triplet Loss：錨點到正樣本的距離小於到負樣本的距離加 margin，常用於人臉識別。 NT-Xent Loss：用於 SimCLR 對比學習，最大化正樣本對的相似度。 InfoNCE Loss：用於自監督學習，將正樣本從負樣本中區分出來。 Center Loss：增加類別內聚性，輔助交叉熵訓練。
分類任務：二分類用 BCE，多分類用 CCE，不平衡用 Focal Loss。回歸任務：標準回歸用 MSE/MAE，異常值魯棒用 Huber，分位數預測用 Quantile Loss。度量學習：人臉識別用 Triplet Loss，對比學習用 NT-Xent。語義分割：通用用 Cross-Entropy + Dice Loss。目標檢測：邊界框回歸用 Smooth L1 或 IoU Loss，類別分類用 Focal Loss。