深度學習 — 機器學習

概述

深度學習是機器學習的一個分支，專注於使用多層神經網路（深度神經網路）來學習資料的複雜表示。深度學習在過去十多年中徹底改變了人工智慧領域，從影像識別、自然語言處理到語音識別，都取得了突破性的進展。與傳統機器學習方法相比，深度學習能夠自動從原始資料中學習層次化的特徵表示，無需人工設計特徵工程。

發展歷程

1943年：McCulloch 和 Pitts 提出神經元的數學模型
1986年：Hinton 推廣反向傳播算法
2006年：Hinton 提出深度信念網路，開啟深度學習熱潮
2012年：AlexNet 在 ImageNet 競賽中大幅領先
2014年：GAN 開創生成模型新領域
2017年：Transformer 革命性地改變了 NLP
2020年：GPT-3 展示大型語言模型的強大能力

神經網路基礎

神經元是神經網路的基本單位，其核心運算是輸入的加權求和加上偏差，再經由激活函數非線性變換產生輸出。多層神經元堆疊形成深度網路，每層學習不同層次的特徵表示。激活函數如 ReLU、Sigmoid、Tanh 等引入非線性，使網路能學習複雜函數。

class Neuron: def __init__(self, input_size): self.weights = np.random.randn(input_size) * 0.01 self.bias = 0 def forward(self, inputs): z = np.dot(inputs, self.weights) + self.bias return self.activation(z)

核心技術

反向傳播：利用鏈式法則計算梯度，是訓練深度網路的關鍵
正則化：Dropout、L1/L2 正則化等防止過擬合
批次歸一化：加速訓練並提高穩定性
殘差連接：解決深層網路的梯度消失問題
注意力機制：讓模型關注輸入中的重要部分

主要架構

CNN：影像處理的最佳選擇，使用卷積核提取空間特徵
RNN/LSTM：序列建模，具有時間記憶能力
Transformer：當前主流架構，完全基於注意力機制
GAN：生成對抗網路，用於生成逼真資料

本課程範例

nn0.py — 從零實現神經網路
nn.py — Tensor 版神經網路
tensor.py — 自動微分 Tensor 類別

深度學習 (Deep Learning)

概述

發展歷程

神經網路基礎

核心技術

主要架構

本課程範例

相關連結