混淆矩陣（Confusion Matrix）是什麼？

評估分類模型效能的表格，顯示預測與真實類別的對應關係，幫助理解模型在各類別上的表現。

核心概念

混淆矩陣（Confusion Matrix）是機器學習領域中，特別是分類任務中，用來評估模型效能的一種標準化表格。它將模型預測的類別與資料的真實類別進行比較，以矩陣形式呈現結果。對於二元分類問題，混淆矩陣通常是一個 2x2 的矩陣，其四個基本元素定義如下：

1. 真陽性 (True Positive, TP)：模型正確地將正類別樣本預測為正類別。例如，模型正確識別出患病者。
2. 真陰性 (True Negative, TN)：模型正確地將負類別樣本預測為負類別。例如，模型正確識別出未患病者。
3. 偽陽性 (False Positive, FP)：模型錯誤地將負類別樣本預測為正類別（第一型錯誤）。例如，模型錯誤地將未患病者預測為患病者。
4. 偽陰性 (False Negative, FN)：模型錯誤地將正類別樣本預測為負類別（第二型錯誤）。例如，模型錯誤地將患病者預測為未患病者。

在混淆矩陣中，通常行代表真實類別，列代表模型預測類別（或反之，但需保持一致）。例如，第一行可能代表所有真實正類別的樣本，其中一部分被正確預測為正（TP），另一部分被錯誤預測為負（FN）。同樣，第二行代表所有真實負類別的樣本，其中一部分被錯誤預測為正（FP），另一部分被正確預測為負（TN）。透過這些計數，我們可以直觀地了解模型在不同類別上的表現，以及它犯了哪些類型的錯誤。

運作原理

混淆矩陣的運作原理相對直接。在模型完成對測試集的預測後，我們將每個樣本的預測結果與其真實標籤進行比對。對於每個樣本，根據其真實標籤和預測標籤的組合，將其計數增加到混淆矩陣的相應單元格中。

例如，如果一個樣本的真實標籤是「正」，模型預測為「正」，則 TP 計數加一。如果真實標籤是「正」，模型預測為「負」，則 FN 計數加一。依此類推，遍歷所有測試樣本後，混淆矩陣便會填充完畢。

混淆矩陣是許多其他分類評估指標的基礎。透過這四個基本計數 (TP, TN, FP, FN)，我們可以計算出：

• 準確度 (Accuracy)：(TP + TN) / (TP + TN + FP + FN)，衡量模型整體正確預測的比例。
• 精確度 (Precision)：TP / (TP + FP)，衡量模型預測為正類別的樣本中，有多少是真正正類別的。
• 召回率 (Recall) / 敏感度 (Sensitivity)：TP / (TP + FN)，衡量所有真正正類別的樣本中，有多少被模型正確識別出來。
• 特異度 (Specificity)：TN / (TN + FP)，衡量所有真正負類別的樣本中，有多少被模型正確識別出來。
• F1 分數 (F1-Score)：2 * (Precision * Recall) / (Precision + Recall)，精確度和召回率的調和平均數，在兩者之間取得平衡。

對於多類別分類問題，混淆矩陣會擴展為 NxN 的形式，其中 N 是類別的數量。矩陣的對角線元素表示模型正確預測的樣本數（真陽性），而非對角線元素則表示模型錯誤預測的樣本數（偽陽性或偽陰性，具體取決於其位置）。透過分析這些數值，可以為每個類別單獨計算精確度、召回率等指標，進而獲得更細緻的模型效能視圖。

實際應用

混淆矩陣在多種 AI 應用中扮演著關鍵角色，尤其是在需要精確評估分類模型效能的場景：

1. 醫療診斷：在疾病檢測模型中，如癌症篩查，混淆矩陣能幫助醫生理解模型的錯誤類型。偽陰性（FN，將患病者誤診為健康）可能導致延誤治療，後果嚴重；而偽陽性（FP，將健康者誤診為患病）則可能導致不必要的焦慮和進一步檢查。透過混淆矩陣，可以根據不同錯誤的成本來調整模型閾值或選擇更適合的評估指標（例如，在癌症檢測中，召回率可能比精確度更重要）。
2. 垃圾郵件檢測：在判斷郵件是否為垃圾郵件時，偽陽性（將正常郵件誤判為垃圾郵件）會導致用戶錯過重要資訊，而偽陰性（將垃圾郵件誤判為正常郵件）則會讓用戶受到騷擾。混淆矩陣能清晰展示這兩種錯誤的數量，幫助調整過濾策略。
3. 金融詐欺偵測：在信用卡詐欺偵測中，偽陰性（FN，未能識別出詐欺交易）會導致銀行遭受經濟損失，而偽陽性（FP，將正常交易誤判為詐欺）則會影響用戶體驗。分析混淆矩陣有助於平衡這兩種風險。
4. 影像辨識：在多類別影像分類任務中，例如識別不同種類的動物或物體，混淆矩陣可以顯示模型容易將哪些類別互相混淆。例如，一個模型可能經常將「貓」誤認為「豹」，這在混淆矩陣中會以非對角線元素的形式清晰呈現，從而指導模型改進方向。
5. 自然語言處理 (NLP)：在情感分析或文本分類任務中，混淆矩陣可以揭示模型在區分不同情感（如正面、負面、中性）或不同主題時的表現。例如，模型可能難以區分「中性」和「輕微負面」的情感，這可以透過混淆矩陣的非對角線元素來觀察。

常見誤區

儘管混淆矩陣是強大的工具，但在使用和解釋時也存在一些常見誤區：

1. 過度依賴準確度 (Accuracy)：在類別分佈不平衡的資料集中，僅憑準確度來判斷模型效能是具有誤導性的。例如，如果一個資料集中 95% 的樣本屬於負類別，即使模型將所有樣本都預測為負類別，也能達到 95% 的準確度，但這顯然是一個無用的模型。混淆矩陣能揭示模型在少數類別上的表現，避免這種誤解。
2. 忽略錯誤的成本差異：在許多實際應用中，不同類型的錯誤（FP vs. FN）具有不同的業務或社會成本。例如，在醫療診斷中，偽陰性（漏診）的成本通常遠高於偽陽性（誤診）。單純查看混淆矩陣的原始計數可能無法直接反映這些成本，需要結合業務知識進行權衡。
3. 未能標準化或正規化：當比較不同資料集或不同模型在不同規模資料上的表現時，直接比較原始計數可能不公平。將混淆矩陣正規化（例如，按行或按列進行百分比計算）可以提供更具可比性的視圖，顯示模型在每個真實類別中預測正確或錯誤的比例，或者在每個預測類別中真實標籤的比例。
4. 多類別混淆矩陣的解讀困難：對於具有大量類別的任務，NxN 的混淆矩陣可能變得非常龐大且難以一眼看出模式。此時，可能需要視覺化工具（如熱圖）或進一步的指標（如每個類別的精確度、召回率）來輔助分析。

與相關技術的比較

混淆矩陣與其他模型評估技術各有側重，共同構成了對模型效能的全面評估：

1. 與分類報告 (Classification Report) 的比較：分類報告通常是從混淆矩陣中導出的，它會為每個類別（以及整體）提供精確度、召回率、F1 分數和支援數（support，即該類別的樣本數）。分類報告提供了一個簡潔的數值摘要，方便快速比較各類別的表現。然而，它隱藏了混淆矩陣所提供的原始錯誤類型（TP, TN, FP, FN）的詳細計數，使得無法直接看到模型具體將哪些類別混淆。混淆矩陣提供了更底層、更直觀的錯誤分佈視圖。
2. 與 ROC 曲線 (Receiver Operating Characteristic Curve) 和 AUC (Area Under the Curve) 的比較：ROC 曲線繪製了在不同分類閾值下，真陽性率（召回率）與偽陽性率（1 - 特異度）之間的關係。AUC 則是 ROC 曲線下的面積，提供了一個單一數值來衡量模型在所有可能閾值下的整體區分能力。ROC 曲線和 AUC 對於評估二元分類模型在不同閾值下的表現非常有用，尤其是在類別不平衡的情況下。然而，它們不直接顯示模型在特定閾值下的具體錯誤計數，也不適用於多類別分類。混淆矩陣則提供了一個特定閾值下的具體錯誤分佈快照。
3. 與 Precision-Recall 曲線的比較：Precision-Recall 曲線繪製了在不同分類閾值下，精確度與召回率之間的關係。它特別適用於高度不平衡的資料集，其中正類別是稀有事件。與 ROC 曲線不同，Precision-Recall 曲線更關注模型在識別正類別方面的表現。雖然它也提供了閾值敏感的效能視圖，但同樣不直接提供混淆矩陣那樣的原始錯誤計數。

總結來說，混淆矩陣提供了最原始、最直觀的錯誤類型分佈視圖，是理解模型如何犯錯的基礎。而分類報告、ROC 曲線和 Precision-Recall 曲線則是在混淆矩陣基礎上，從不同角度對模型效能進行的更高層次、更抽象的總結和分析。在實際應用中，通常會結合使用這些工具，以獲得對模型效最全面和深入的理解。