輸出層（Output Layer）是什麼？

神經網路最後一層，根據任務類型選擇合適的激活函數，將隱藏層的高維特徵轉換為最終預測結果（分類概率、迴歸值或其他形式），是模型與外界交互的界面。

核心概念

輸出層是連接模型內部高維特徵表示與外部預測結果的橋樑。在設計輸出層時，必須針對具體任務做出關鍵決策：

1. 輸出神經元數量：由任務決定。分類任務的輸出神經元數等於類別數，迴歸任務通常為 1（或預測變量個數），多標籤分類為標籤數。

2. 激活函數選擇：直接影響輸出解釋。softmax 將輸出轉為概率分佈，sigmoid 將單個輸出轉為 0-1 概率，線性激活用於迴歸。

3. 損失函數配套：輸出層設計必須與損失函數匹配。softmax 激活搭配交叉熵損失，sigmoid 激活搭配二元交叉熵，線性輸出搭配均方誤差。

運作原理

輸出層的數學流程為：

1. 線性計算：接收前一層輸入 x，計算 z = Wx + b，其中 W、b 是可學習參數。

2. 激活轉換：根據任務類型應用對應激活函數：

   • softmax：y_i = exp(z_i) / Σ exp(z_j)，用於多類分類
   • sigmoid：y = 1 / (1 + exp(-z))，用於二分類或多標籤
   • 線性：y = z，用於迴歸
   • 其他：如 tanh、ReLU（少見）

3. 損失計算：輸出進入損失函數，計算預測與真實標籤的差異。

4. 反向傳播：梯度流通過損失函數、激活函數回傳到權重，進行參數更新。

實際應用

不同任務的輸出層配置：

1. 影像分類（ImageNet）：1000 個輸出神經元，softmax 激活，輸出每個類別的概率。

2. 對象檢測（YOLO）：同時輸出邊界框座標（4 值）、物體性置信度、各類別概率。輸出層是多任務的，需要組合多個損失。

3. 情感分析：三分類任務（正負中立），3 個輸出神經元，softmax 激活。

4. 房價預測（迴歸）：單個輸出神經元，線性激活，直接輸出預測價格。

5. 多標籤文章分類：如一篇文章可同時屬於「科技」和「商業」兩個類別，使用 sigmoid 激活和二元交叉熵損失，每個輸出獨立決策。

6. 序列到序列任務（機器翻譯）：解碼器的輸出層每步輸出詞表大小的概率分佈，在推理時選擇最高概率的詞。

常見誤區

1. 激活函數與損失函數不匹配：某些初學者使用 softmax 激活但搭配均方誤差損失，或反之。正確搭配對訓練穩定性至關重要。

2. 對輸出解釋的誤解：softmax 輸出中最大概率不一定代表模型確信，只表示相對概率。高確信度需要最大概率遠高於其他。

3. 多標籤 vs 多類混淆：多類分類（一個樣本只屬於一個類別）使用 softmax，多標籤分類（一個樣本可屬於多個類別）使用 sigmoid。使用錯誤導致嚴重性能問題。

4. 數值穩定性忽視：直接計算 softmax 容易導致數值溢出。實踐中應使用 log-softmax 或在計算時減去最大值保證穩定性。

與相關技術的比較

• 輸出層激活函數對比：softmax 在多類分類中最常用，保證輸出和為 1；sigmoid 在多標籤或二分類中更靈活，各輸出獨立；tanh 和 ReLU 輸出無此限制，通常不用於最終輸出；線性激活無約束，適合迴歸。

• 有無隱藏層的影響：簡單任務可直接從輸入連全連接層到輸出，複雜任務需多層隱藏層提取特徵，最後輸出層進行決策。隱藏層深度影響特徵學習能力。

• 焦點損失與標準交叉熵：在類別不均衡問題上，焦點損失（focal loss）動態調整損失權重，重點關注困難樣本，比標準交叉熵更適合不平衡數據。

• 硬輸出 vs 軟輸出：硬輸出直接取最高概率類別，軟輸出保留概率分佈。軟輸出在集成學習、知識蒸餾中更有用。