詹森-夏農散度 vs KL 散度
Jensen-Shannon Divergence vs Kullback-Leibler Divergence
詹森-夏農散度 側重 詹森-夏農散度(Jensen-Shannon Divergence, JSD)是一種衡量兩個機率分布相似程度的對稱指標,以 KL 散度為基礎改良,輸出範圍為 [0, 1](使用以 2 為底的對數時),,而 KL 散度 側重 衡量兩個機率分佈之間差異程度的指標,常用於資訊理論、生成模型訓練與分佈比較。。
逐項比較
| 項目 | 詹森-夏農散度 | KL 散度 |
|---|---|---|
| 一句定義 | 詹森-夏農散度(Jensen-Shannon Divergence, JSD)是一種衡量兩個機率分布相似程度的對稱指標,以 KL 散度為基礎改良,輸出範圍為 [0, 1](使用以 2 為底的對數時), | 衡量兩個機率分佈之間差異程度的指標,常用於資訊理論、生成模型訓練與分佈比較。 |
| 常見標籤 | 統計方法、模型評估、機器學習、生成式AI | 資訊理論、機率分佈、VAE、生成模型、iPAS |
| iPAS 關聯度 | 未知 | 未知 |
| 考生最常問 | JSD 和 KL 散度最重要的差異是什麼? | KL 散度和 JS 散度有什麼差別?應該用哪一個? |