---
title: "資訊對比損失（InfoNCE Loss）"
slug: infonce-loss
language: zh-TW
source: https://aiterms.tw/terms/infonce-loss
updated_at: 2026-07-04
tags: [深度學習, 自監督學習, 模型訓練, 最佳化, source:ipas]
ipas_term: true
---

# 資訊對比損失（InfoNCE Loss）

透過對比正負樣本，最大化互資訊下界的損失函數，主要用於自監督表徵學習。

## 完整說明

資訊對比損失是一種基於噪音對比估計理論發展而來的深度學習損失函數，用於在特徵空間中將相關聯的正樣本拉近，同時將不相關的負樣本推開以學習高品質的資料表徵，常見應用包括視覺與語言模型的自監督預訓練以及跨模態檢索與對齊任務。

## iPAS 考試出題分析

屬於未分類考範圍。

## 常見問題

### 資訊對比損失中的溫度係數具體如何影響模型的學習效果？

溫度係數是資訊對比損失中至關重要的超參數。當溫度設定較低時，指數函數的特性會使得模型極度關注那些與基準樣本相似但實際上是負樣本的困難案例，這會迫使模型學習到非常精細且具區分度的特徵，但同時可能引發梯度的劇烈波動，導致訓練過程不穩定甚至發散。相反地，較高的溫度會使機率分佈趨於平緩，所有負樣本的權重變得較為平均，這能提供更平穩的梯度與穩定的訓練過程，但模型可能只學到粗糙的表徵，無法捕捉細微的語義差異。因此，實務上通常需要透過實驗來尋找最適合特定資料集分佈的溫度數值。

### 為什麼在計算資訊對比損失時，批次大小通常需要設定得非常大？

資訊對比損失的效能高度依賴於負樣本的數量與多樣性。在標準的自監督學習框架中，負樣本通常直接來自於同一個訓練批次內的其他資料。較大的批次大小意味著在每次計算損失時，模型能夠看到更多的負樣本，這不僅能提供更準確的資料分佈估計，更能顯著增加遇到困難負樣本的機率。困難負樣本對於推動神經網路學習更強大的特徵邊界至關重要。如果批次大小過小，負樣本的缺乏會導致對比任務變得過於簡單，模型容易陷入次佳解，無法學習到具有泛化能力的表徵，這也是為何相關研究常使用大規模批次進行訓練的原因。

### 資訊對比損失與傳統的交叉熵損失在使用場景上有何根本性的差異？

傳統的交叉熵損失主要應用於有監督學習，它必須依賴人工標註的明確類別標籤來進行訓練，目標是將樣本準確映射到預先定義的類別空間中。然而，在許多實際應用中，取得大量高品質標註資料的成本極高。資訊對比損失則突破了這個限制，它主要應用於自監督或無監督學習場景，不需要任何外部標籤，而是透過資料本身的結構與擴增變換來建構學習目標。它專注於評估樣本之間的相對相似度關係，使模型能夠在開放集合或未知類別的環境下，自主挖掘並學習到通用的底層特徵表徵，為後續的微調任務提供強大的基礎。

---

來源：https://aiterms.tw/terms/infonce-loss
快查頁：https://aiterms.tw/terms/infonce-loss
最後更新：2026/07/04
深度解說：https://aiterms.tw/learning/what-is-infonce-loss