機器學習的歷史 — 機器學習

起源：人工智慧的黎明（1950-1960）

1950 年，艾倫·圖靈提出了「圖靈測試」，為智慧機器的定義設立了基準。1956 年，達特茅斯會議標誌著人工智慧作為獨立學科的誕生，汇集了明斯基、麥卡錫、紐厄爾和西蒙等先驅。他們樂觀預測：二十年內機器將能完成任何人類能做的事。這一時期的主流是符號人工智慧（Symbolic AI），但很快就遇到了瓶頸。

第一次寒冬：專家系統的興衰（1970-1980）

1970 年代中期，專家系統成為主流，如 MYCIN 用於診斷血液感染。但專家系統需要人工編碼大量領域知識，成本高昂且難以維護。1980 年代後期，局限性日益明顯：知識獲取困難、無法處理不確定性、無法從資料中學習。專家系統熱潮消退，投資者信心喪失，進入「人工智慧寒冬」。

機器學習的興起（1980-1990）

決策樹與符號學習

Tom Mitchell 提出了機器學習的正式定義。ID3、C4.5 等決策樹學習演算法被開發出來，能從資料中自動歸納分類規則。

神經網路的復興

1986 年，Rumelhart、Hinton 和 Williams 發表反向傳播（Backpropagation）論文，重新點燃了對神經網路的熱情，解決了多層網路的訓練問題。

統計學習的崛起

1990 年代，Vapnik 的支持向量機（SVM）在分類和回歸上表現優異。機器學習強調機率和統計，推動了貝葉斯方法、HMM 和 CRF 的發展。

深度學習革命（2006-2012）

深度信念網路

2006 年，Geoffrey Hinton 發表深度信念網路（DBN）論文，提出逐層貪婪預訓練方法，解決了多層網路訓練困難。

ImageNet 與電腦視覺突破

2009 年李飛飛團隊發布 ImageNet（1500 萬張標註圖片）。2012 年 AlexNet 在 ImageNet 競賽中以巨大優勢奪冠，將錯誤率從 26% 降至 15%。關鍵創新：GPU 加速、ReLU 啟動函數、Dropout、資料增強。2015 年 ResNet 錯誤率降至 3.6%，低於人類的 5%。

NLP 的變革

2013 年 Word2Vec 將單詞映射到向量空間。2017 年 Google 發表 Transformer 架構，捨棄 RNN 完全依賴自注意力機制，成為 NLP 的標準架構。

大型語言模型時代（2018-至今）

2018 年 GPT-1 和 BERT 分別展示了 Transformer 在語言建模和語言理解上的強大能力。GPT-3（2020）展示湧現能力（Emergent Abilities）。ChatGPT（2022）引爆全球 AI 熱潮。CLIP、DALL-E、Stable Diffusion 等模型將深度學習擴展到多模態領域，實現文字、圖像、語音的統一理解與生成。