Softmax 函數 是什麼？

Softmax Function：Softmax 函數 的完整解釋

Softmax 函數是一種將數值轉換為機率分佈的數學工具，常用於多元分類模型，確保輸出總和為一

容易混淆

Sigmoid 函數 Sigmoid 像處理「二選一」的問題，把結果變成是或否的機率。 Softmax 則像處理「多選一」的問題，它會給每個選項一個機率，而且這些機率的總和保證是 1，讓你一次看到所有選項的可能性分佈。

最關鍵的區別：先看它是在比意思、比結構，還是在做任務輸出。

記住這句就好

多選一、而且總和要等於 1，就用 Softmax。

實際案例

圖片分類模型最後要在貓、狗、鳥之間選一個最可能類別。 語言模型生成下一個 token 時，要先把詞彙表分數轉成機率。

算法與應用

它會先對分數取指數，再做正規化，讓所有輸出都變成機率。 temperature 會影響分布尖銳程度，溫度低更保守，溫度高更分散。

公式與計算

Softmax 把一組任意實數轉成一組加總為 1 的機率。對第 i 個輸出：

softmax(z_i) = exp(z_i) / Σ_j exp(z_j)

分母是所有輸出取指數後的總和，所以每個結果都落在 0 到 1 之間，全部加起來剛好是 1。

實際算一次，假設模型三個類別的原始輸出（logits）是 2.0、1.0、0.1：

結果是 65.9%、24.2%、9.9%，加起來等於 1。

注意指數的效果：原始輸出只差 1.0，機率就差了將近 2.7 倍。所以 softmax 會放大差距，原始分數的小幅變動會造成機率的大幅變動。

兩個實務上一定會遇到的細節

數值穩定性。 直接算 exp(z) 在 z 很大時會溢位。標準做法是先把每個 z 減掉這組裡的最大值再算，結果完全相同，因為分子分母同時乘上一個常數會互相抵消。所有主流框架的 softmax 都內建這個處理。

溫度（temperature）。 把 z 除以一個溫度參數 T 再做 softmax，T 大於 1 會讓分布變平緩，輸出更隨機；T 小於 1 會讓分布更尖銳，輸出更集中。大型語言模型的 temperature 參數就是這個東西。

情境判斷

Q1（直覺題）： 如果模型最後要選一個類別，Softmax 合適嗎？

→ 合適。這就是它最典型的用途。

Q2（判斷題）： 如果一個樣本可以同時屬於好幾個類別，還適合嗎？

→ 通常不適合。看情況，多標籤任務更常用 Sigmoid。

常見問題

Softmax 函數的輸入可以是負數嗎？

可以。Softmax 函數可以接受任何實數作為輸入，包括負數。指數函數會將負數轉換為介於 0 和 1 之間的數值，因此 Softmax 函數仍然能夠產生有效的機率分布。

Softmax 函數的輸出一定是唯一的嗎？

不一定。如果輸入向量中存在相同的數值，那麼 Softmax 函數的輸出中也會存在相同的機率值。只有當輸入向量中的所有數值都不同時，Softmax 函數的輸出才是唯一的。

Softmax 函數在深度學習框架中如何使用？

在常見的深度學習框架（如 TensorFlow、PyTorch）中，Softmax 函數通常作為一個層（Layer）來使用，可以直接添加到模型的輸出層。框架會自動處理 Softmax 函數的計算和梯度反向傳播。