對數損失（Log Loss）｜AI 術語定義

核心概念

對數損失是基於機率的損失函數，它衡量的是模型預測的機率分佈與真實標籤之間的差異。其核心概念包括：

機率 (Probability): 模型輸出的是樣本屬於某個類別的機率，例如，模型預測一個樣本屬於正類的機率為 0.8，屬於負類的機率為 0.2。
似然性 (Likelihood): 似然性是指在給定模型參數的情況下，觀察到實際數據的可能性。對數損失的目標是最大化似然性，即找到一組模型參數，使得觀察到實際數據的可能性最大。
對數 (Logarithm): 對數函數將機率值轉換為對數值。使用對數可以簡化計算，並且可以避免機率值過小導致的數值問題。

對於二元分類問題，對數損失函數的公式如下：

Loss = - Σ [y_i * log(p_i) + (1 - y_i) * log(1 - p_i)]

其中：

這個公式可以理解為：

如果 y_i = 1，則損失為 -log(p_i)。這意味著如果模型預測的機率 p_i 越接近 1，損失越小；反之，如果 p_i 越接近 0，損失越大。
如果 y_i = 0，則損失為 -log(1 - p_i)。這意味著如果模型預測的機率 p_i 越接近 0，損失越小；反之，如果 p_i 越接近 1，損失越大。

對數損失的運作原理是通過計算模型預測的機率與真實標籤之間的差異，來衡量模型的準確性。在訓練過程中，模型會不斷調整其參數，以最小化對數損失。這意味著模型會努力使預測的機率更接近真實標籤。

梯度下降等最佳化算法會利用對數損失的梯度來更新模型參數。梯度指示了損失函數下降最快的方向，模型會沿著這個方向調整參數，直到找到損失函數的最小值。

具體來說，如果模型預測的機率與真實標籤一致，則對數損失為 0。如果模型預測的機率與真實標籤完全相反，則對數損失趨向於無窮大。因此，對數損失可以有效地懲罰錯誤的預測，並鼓勵模型做出更準確的預測。

對數損失廣泛應用於各種二元分類問題中：

垃圾郵件檢測: 在垃圾郵件檢測中，對數損失用於訓練模型，預測郵件是否為垃圾郵件。模型會輸出郵件為垃圾郵件的機率，並使用對數損失來衡量預測結果與真實標籤之間的差距。
欺詐檢測: 在欺詐檢測中，對數損失用於訓練模型，預測交易是否為欺詐交易。模型會輸出交易為欺詐交易的機率，並使用對數損失來衡量預測結果與真實標籤之間的差距。
醫療診斷: 在醫療診斷中，對數損失用於訓練模型，預測患者是否患有某種疾病。模型會輸出患者患有該疾病的機率，並使用對數損失來衡量預測結果與真實標籤之間的差距。
點擊率預測 (CTR): 在線上廣告和推薦系統中，對數損失用於訓練模型，預測用戶點擊某個廣告或商品的機率。模型會輸出用戶點擊的機率，並使用對數損失來衡量預測結果與真實點擊行為之間的差距。
信用評分: 在金融領域，對數損失用於建立信用評分模型，預測借款人違約的機率。模型會輸出借款人違約的機率，並使用對數損失來衡量預測結果與真實違約行為之間的差距。

與準確率 (Accuracy) 的比較: 準確率衡量的是模型預測正確的樣本比例，而對數損失衡量的是模型預測的機率分佈與真實標籤之間的差異。準確率只關注預測結果是否正確，而忽略了預測的置信度。因此，對數損失通常比準確率更能反映模型的真實性能。
適用範圍: 對數損失主要用於二元分類問題，不適用於多元分類問題。對於多元分類問題，可以使用交叉熵損失。
機率輸出的要求: 對數損失要求模型的輸出是機率值，即介於 0 和 1 之間的數值。因此，在應用對數損失之前，通常需要使用 sigmoid 函數將模型的輸出轉換為機率值。
樣本不平衡問題: 在處理樣本不平衡的分類問題時，直接使用對數損失可能會導致模型偏向於多數類別。為了解決這個問題，可以使用加權對數損失，為少數類別賦予更高的權重。
過度擬合 (Overfitting) 的問題: 如果模型在訓練數據上表現很好，但在測試數據上表現很差，則可能存在過度擬合的問題。為了避免過度擬合，可以使用正則化 (Regularization) 等技術，限制模型的複雜度。