完整定義
S 型函數是一種常用的激活函數,其輸出值介於 0 和 1 之間,呈現 S 形曲線。它能夠將任意實數轉換為一個概率值,常用於二元分類問題的輸出層。在神經網路中,S 型函數引入非線性,使得模型能夠學習更複雜的模式。
白話說明
你有沒有在你想把一個分數變成介於 0 和 1 的機率,發現只看表面常常不夠?
你可以把它想成一個平滑的開關,分數越大越接近 1,越小越接近 0。
二分類、門控機制、機率輸出都常需要這種平滑壓縮。
記住這句
把分數壓到 0 到 1 之間,就先想到 Sigmoid。
比喻:S 型函數就像一個「機率轉換器」-- 無論你輸入一個多大或多小的數字,它都能把它們變成一個介於 0 到 1 之間的「機率值」。就好比把任何分數都統一成百分比,讓你一眼就知道是多大的機會。
容易混淆
ReLU 函數
ReLU 像個「開關」,小於零就關掉(變零),大於零就直接傳遞。
Sigmoid 則像個「漸進式開關」,它會把所有輸入都平滑地壓縮到 0 到 1 之間,特別適合用來表示機率,因為它的輸出總是在這個範圍內。
實際案例
垃圾郵件分類會輸出一個介於 0 和 1 的值,表示是垃圾信的機率。
LSTM 的 gate 也常用 Sigmoid 來控制資訊要不要放行。
演算法與應用
它把輸入映射成 S 形曲線,輸出永遠落在 0 到 1 之間。
和 Softmax 不同,Sigmoid 更適合二分類或多標籤的獨立判斷。
情境判斷
Q1(直覺題): 如果模型只要判斷是或不是,Sigmoid 適合嗎?
適合。二分類很常直接用它做輸出。
Q2(判斷題): 如果你要在很多類別中選一個,還會優先用 Sigmoid 嗎?
通常不會。看情況,多選一時更常用 Softmax。
常見問題
是的,S 型函數的輸出值永遠介於 0 和 1 之間。這是由於其數學公式的特性所決定的。無論輸入值有多大或多小,經過 S 型函數的轉換,都會被壓縮到這個範圍內。
在深度學習領域,S 型函數已經逐漸被 ReLU 等其他激活函數所取代,因為 ReLU 在緩解梯度消失問題和提高計算效率方面表現更好。但 S 型函數在某些特定應用場景,例如二元分類問題,仍然有其價值。
在多分類問題中,通常會使用 Softmax 函數,而不是直接使用 S 型函數。Softmax 函數將多個輸出值轉換為機率分佈,使得所有類別的機率之和等於 1。S 型函數則更適合於二元分類問題。
邏輯 S 型函數 σ(x) = 1 / (1 + e^(−x)) 的導數可以寫成 σ'(x) = σ(x)(1 − σ(x)),只要算出函數值就能得到導數,反向傳播時很方便。導數在 x = 0 時最大,為 0.25,|x| 越大越接近 0,這也是深層網路疊很多 S 型函數時容易梯度消失的原因之一。
代入 σ(x) = 1 / (1 + e^(−x)) 即可。x = 0 時結果是 0.5。x = 2 時 e^(−2) 約 0.135,結果約 0.881。x = −2 時約 0.119,剛好是 1 減 0.881,因為 σ(−x) = 1 − σ(x)。輸入越大越接近 1,越小越接近 0,但不會真的等於 0 或 1。
出現在這些考古題
官方公告試題的逐題解析裡,這 3 題把S 型函數列為延伸術語。
相關術語
- 深度學習Deep LearningSigmoid 和 Softmax 都是深度學習裡最基本的輸出工具。
- 機器學習Machine Learning很多應用的底層都離不開機器學習。
- 梯度下降Gradient Descent看活化函數和輸出層時,常會一起搭配理解。
- Softmax 函數Softmax Function讀完這個術語,再看它能把範圍往外延伸。
- 修正線性單元Rectified Linear Unit它是另一個常見活化函數,最適合一起比較。
- 邏輯迴歸Logistic Regression
- 梯度消失Vanishing Gradient
- 激活函數Activation Function
本頁內容有提到,或屬於同一組主題的術語
來源
參考來源:en.wikipedia.org
其他格式:Markdown 版本