循環神經網路 vs 轉換器架構
Recurrent Neural Network vs Transformer
循環神經網路 側重 循環神經網路是一種具備「記憶」功能的神經網路，其能處理序列資料，並將前一步的輸出回饋至下一步，而 轉換器架構 側重 完全基於 Attention 機制的架構，不用 RNN 的循環結構，能平行處理整個序列。
逐項比較
| 項目 | 循環神經網路 | 轉換器架構 |
|---|---|---|
| 一句定義 | 循環神經網路是一種具備「記憶」功能的神經網路，其能處理序列資料，並將前一步的輸出回饋至下一步 | 完全基於 Attention 機制的架構，不用 RNN 的循環結構，能平行處理整個序列 |
| 比喻 | RNN 就像一個讀書很認真的學生 -- 它會逐字閱讀，讀到每個字時，還會記得前面讀過什麼，然後再根據這些「記憶」來理解和預測接下來的內容。 | Transformer 就像一位同步口譯員 -- 不需要逐字翻譯，而是同時「看到」整段話，理解每個字在上下文中的意義後再翻譯 |
| 常見標籤 | 深度學習、神經網路、自然語言處理、時序分析 | 深度學習、自然語言處理、神經網路 |
| iPAS 關聯度 | 未知 | 未知 |
| 考生最常問 | RNN 只適合文字嗎？ | 轉換器為什麼這麼重要？ |