在深度學習中，ReLU（Rectified Linear Unit）激活函數相比 Sigmoid 函數的主要優勢為何？

iPAS 考題解析

在深度學習中，ReLU（Rectified Linear Unit）激活函數相比 Sigmoid 函數的主要優勢為何？

  • A. ReLU 的輸出值域在 (0, 1) 之間，適合輸出機率
  • B. ReLU 是平滑可微函數，梯度計算更穩定
  • C. ReLU 能處理負值輸入，Sigmoid 不能
  • D. 對正值輸入梯度恆為 1，不存在梯度消失問題，且計算效率更高 ✓ 正確答案

詳細解析

ReLU 對正值輸入的梯度恆為 1，不存在 Sigmoid 的梯度飽和問題（梯度消失），使深層網路的訓練更有效。計算上只是取 max(0, x)，比 Sigmoid 的指數運算快得多。缺點是負值輸入的「死亡 ReLU」問題，但整體優勢使其成為隱藏層的默認選擇。

出題年份：114 難度：★★☆