線性整流函數 vs Sigmoid 函數
ReLU vs Sigmoid
線性整流函數 側重 線性整流函數（Rectified Linear Unit, ReLU）是深度學習中最常用的激活函數，將負值輸出設為零、正值保持不變，有效解決梯度消失問題並加速神經網路收斂。，而 Sigmoid 函數 側重 Sigmoid 函數是一種將任意實數壓縮到 (0, 1) 區間的 S 形曲線，公式為 σ(x) = 1/(1+e⁻ˣ)，常作為神經網路的激活函數及邏輯斯迴歸的輸出層，用於將線性輸出轉換為機率值。。
逐項比較
| 項目 | 線性整流函數 | Sigmoid 函數 |
|---|---|---|
| 一句定義 | 線性整流函數（Rectified Linear Unit, ReLU）是深度學習中最常用的激活函數，將負值輸出設為零、正值保持不變，有效解決梯度消失問題並加速神經網路收斂。 | Sigmoid 函數是一種將任意實數壓縮到 (0, 1) 區間的 S 形曲線，公式為 σ(x) = 1/(1+e⁻ˣ)，常作為神經網路的激活函數及邏輯斯迴歸的輸出層，用於將線性輸出轉換為機率值。 |
| 常見標籤 | 深度學習、神經網路、模型訓練、特徵工程 | 神經網路、深度學習、機器學習、統計方法 |
| iPAS 關聯度 | 未知 | 未知 |
| 考生最常問 | ReLU 為什麼能解決梯度消失問題？ | 為什麼 Sigmoid 在深度神經網路的隱藏層中被 ReLU 取代？ |