完整定義
前饋神經網路 (Feedforward Neural Network, FFNN) 是一種訊息單向傳播的人工神經網路。它由輸入層、一個或多個隱藏層和輸出層組成。訊息從輸入層開始,經過隱藏層的處理,最終到達輸出層。FFNN 沒有反饋迴路,因此稱為前饋網路。FFNN 廣泛應用於分類、迴歸和模式識別等任務。
白話說明
你有沒有遇過一個模型,資料進去後就一路往前算,不會回頭看前文?
你可以把前饋神經網路想成直線往前走的判斷器,輸入只往下一層傳,不會把前一輪狀態再拿回來。
它重要,是因為很多表格式資料只需要穩定的前向計算,不一定要記住前面的時間順序。
記住這句
只往前算、不回頭記,就是前饋神經網路。
比喻:前饋神經網路就像一條單行道 -- 資訊從入口(輸入層)進來,只能一路向前穿過中間的關卡(隱藏層),最後從出口(輸出層)出去,不能走回頭路,也不能往旁邊岔出去。
容易混淆
前饋神經網路 vs 循環神經網路
前饋網路只做單次前向傳遞。
循環神經網路會把過去狀態帶回來,適合序列資料。
前饋神經網路 vs 轉換器架構
前饋網路是最基礎的全連接堆疊。
轉換器會再加上注意力機制,處理長距離關係更強。
實際案例
信用審核
把收入、負債、年資丟進去,模型直接前向輸出風險分數,很適合固定欄位資料。
工廠良率預測
用溫度、壓力、轉速等欄位預測結果,通常不需要時間記憶時,前饋網路就能工作。
演算法與應用
它通常由輸入層、隱藏層和輸出層組成,層與層之間做加權求和與非線性轉換。
這是很多深度學習模型的基礎骨架,也是理解更複雜架構前很值得先懂的東西。
前饋是什麼意思,跟其他架構差在哪
前饋(feedforward)指的是資料只往一個方向流:從輸入層經過隱藏層到輸出層,中間沒有任何回頭的連接。這是神經網路裡最基本的形狀,其他架構都可以看成在它上面加東西。
嚴格說,CNN 與 Transformer 也都是前饋的(沒有循環連接),只有 RNN 這一類不是。日常講「前饋神經網路」時通常特指全連接的那一種,也叫多層感知器(Multilayer Perceptron, MLP)。
- 架構
- 前饋神經網路(FNN / MLP)
- 資料怎麼流
- 單向,層與層之間全連接
- 適合什麼
- 表格資料、當作其他架構的元件
- 架構
- 卷積神經網路(CNN)
- 資料怎麼流
- 單向,但用局部感受野與權重共享
- 適合什麼
- 影像、有空間結構的資料
- 架構
- 循環神經網路(RNN)
- 資料怎麼流
- 有回頭的連接,帶隱藏狀態
- 適合什麼
- 序列資料
- 架構
- Transformer
- 資料怎麼流
- 單向,但每層內有注意力
- 適合什麼
- 序列,可平行訓練
為什麼它到現在還很重要
表面上 FNN 好像被 CNN 與 Transformer 取代了,實際上它一直在裡面。
Transformer 每一層都有一個 FNN。 注意力層之後接的那個前饋網路(通常寫作 FFN),是一個兩層的 MLP,隱藏維度往往是模型維度的四倍。以參數量計算,Transformer 大約三分之二的參數在這些 FNN 裡,不在注意力上。近年的專家混合(Mixture of Experts, MoE)做的就是把這一塊換成多組專家再稀疏啟動。
CNN 最後也接 FNN 做分類。 卷積層負責抽特徵,最後的全連接層負責把特徵映射到類別。
表格資料上它仍是合理選擇。 雖然梯度提升樹在多數表格任務上更強,但需要與其他神經網路模組串接、或需要端到端可微時,FNN 是唯一選擇。
理論上還有一個常被引用的結論:通用近似定理(universal approximation theorem)證明只要隱藏層夠寬,單隱藏層的前饋網路就能逼近任意連續函數。但這只證明存在,沒說好不好訓練,實務上深而窄通常比淺而寬更有效率。
情境判斷
Q1:如果資料是固定欄位、沒有時間順序,前饋網路常常可以派上用場嗎?
可以,這正是它最常見的舞台。
Q2:如果你要做語音逐字輸入,前饋網路一定是最佳選擇嗎?
不一定,因為那是序列問題,通常要看情況改用能處理時間依賴的模型。
常見問題
不是,前饋網路只是深度學習裡的一種基本架構。
可以做分類類任務,但若要理解上下文,通常還要更強的序列模型。
因為訊號主要從前往後流動,不會回圈。
不一定,太深會增加訓練難度,也可能更難調。
出現在這些考古題
官方公告試題的逐題解析裡,這 2 題把前饋神經網路列為延伸術語。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本