正規化吉尼不純度怎麼算？

情境

先感受問題：袋子裡什麼顏色球最容易亂

想像一個袋子裡裝了 10 顆球，你隨機摸出一顆，猜它是什麼顏色。

情境 1：袋子裡 10 顆全是紅球。你一定猜對，因為只有一種顏色。

情境 2：袋子裡 5 顆紅、5 顆藍。你猜對的機率只有 50%，完全靠運氣。

吉尼不純度（Gini Impurity）就是在量化這個「猜的難度」：袋子越「純」（只有一種），不純度越低；越「混」（各種顏色各半），不純度越高。

決策樹（Decision Tree）在選擇分裂節點時，就是要找能讓「分裂後的子集不純度最低」的特徵，也就是分完之後最容易猜中的分割方式。

舊方法

不了解不純度概念時會踩哪些坑

1. 把「純」和「不純」搞反：直覺上「吉尼不純度 = 1 = 最高」聽起來像是最好，但事實相反：不純度高代表資料最混亂、最難預測，是決策樹最希望透過分裂來改善的狀態。
2. 混淆吉尼不純度和吉尼係數：經濟學的「吉尼係數（Gini Coefficient）」是衡量收入不平等的指標，範圍也是 0 到 1，但意義完全不同。機器學習的「吉尼不純度（Gini Impurity）」是決策樹的分裂準則。名字相似但領域不同，不要混淆。
3. 不知道正規化的目的：原始吉尼不純度的最大值隨類別數不同而改變（2 類最大 0.5，3 類最大 0.667）。正規化是除以最大值，把所有情況都縮放到 [0, 1]，方便比較。
4. 算公式時忘記平方：吉尼不純度的公式是 1 - Σ(p_i²)，要對每個類別的比例取平方再相加再用 1 減，不是直接加各類別比例。
5. 誤以為吉尼不純度 = 0 代表最差：吉尼不純度 = 0 代表完全純（只有一種類別），是決策樹分裂的「終極目標」，是最好的狀態，不是最差。

新方法

一步步算出正規化吉尼不純度

資料：A 5 筆、B 5 筆，共 10 筆。

Step 1：算各類別比例

p_A = 5/10 = 0.5，p_B = 5/10 = 0.5

Step 2：套吉尼不純度公式

Gini = 1 - (p_A² + p_B²) = 1 - (0.5² + 0.5²) = 1 - (0.25 + 0.25) = 1 - 0.5 = 0.5

Step 3：算正規化

2 個類別時，吉尼不純度的最大值 = 0.5（各占一半時）。

正規化吉尼不純度 = Gini / Gini_max = 0.5 / 0.5 = 1

意義：這組資料的混亂程度已經達到最大值，A 和 B 各占一半，完全無法預判下一筆是哪一類。

這就是選項 D 講的：1。

錯選項

為什麼其他選項是錯的

變形題

同個考點下次怎麼變形

延伸

想再往下看，這 5 個

• 決策樹（Decision Tree）
  吉尼不純度是決策樹選擇分裂節點的核心準則之一，理解不純度等於理解決策樹。
• 隨機森林（Random Forest）
  由多棵決策樹組成的集成模型，每棵樹都用吉尼不純度或熵來決定分裂策略。
• 梯度提升（Gradient Boosting）
  另一種基於決策樹的集成方法，同樣需要理解不純度概念來優化分裂。
• 熵（Entropy）
  資訊熵是決策樹分裂的另一個準則，與吉尼不純度描述同樣的「混亂程度」。
• 特徵工程（Feature Engineering）
  決策樹的分裂策略本質是自動選擇最重要的特徵，與人工特徵工程互補。