循環神經網路 (RNN)

概述

循環神經網路（Recurrent Neural Network，RNN）是一類專門處理序列資料的神經網路架構。與傳統的前饋神經網路不同，RNN 具有內部狀態（hidden state），能夠記住過去的資訊，這使它特別適合處理具有時間依賴性的資料，如自然語言、音訊、時間序列等。

RNN 的核心概念

前饋神經網路輸入輸出長度必須固定，且無法處理序列關係。RNN 透過在時間步之間傳遞隱藏狀態來解決這些問題：每個時間步的輸出不僅取決於當前輸入，還取決於上一步的隱藏狀態，形成循環結構。

基本結構

在每個時間步 t，RNN 接收當前輸入 x_t 和上一步隱藏狀態 h_{t-1}，計算當前隱藏狀態 h_t = tanh(W_h · h_{t-1} + W_x · x_t + b)。隱藏狀態 h_t 捕捉了到當前時間步為止的序列資訊。

RNN 的變體

• LSTM（長短期記憶）：通過遺忘閘、輸入閘、輸出閘的設計，解決標準 RNN 的長期依賴問題和梯度消失問題
• GRU（閘控循環單元）：LSTM 的簡化版本，將遺忘閘和輸入閘合併為更新閘
• 雙向 RNN：同時從正向和反向處理序列，捕捉雙向上下文

應用場景

• 語言模型：預測序列中的下一個詞
• 機器翻譯：將源語言序列轉換為目標語言序列
• 語音識別：將音訊序列轉換為文字
• 情感分析：根據文字序列判斷情感傾向
• 時間序列預測：股票價格、天氣預測等

本課程範例

• ex5-charpredicate.py — RNN 字元預測範例

相關連結

• Wiki: 循環神經網路
• Transformer
• 自然語言處理
• 深度學習