自監督學習 相關 AI 術語

從原始音訊訊號中自動計算或學習具有代表性的低維特徵向量，用於後續機器學習任務。

自編碼器是一種神經網路，旨在學習輸入數據的壓縮表示（編碼），然後從該壓縮表示重建原始數據（解碼）。

BERT是一種基於Transformer架構的雙向編碼器模型，用於理解文本的語義和上下文，廣泛應用於自然語言理解任務。

CLIP (Contrastive Language-Image Pre-training) 是一種透過對比學習，將圖像與文字描述連結的模型，能進行零樣本圖像分類，無需針對特定任務重新訓練。

完形填空任務是一種語言理解測試，透過移除文本中的部分詞彙，要求模型或人類填補缺失部分，以評估其對上下文的理解能力。

對比學習是一種自監督學習方法，通過學習區分相似和不相似的樣本，從而提取資料的有效表示，無需人工標註。

一種機器學習技術，透過拉近相似樣本的特徵並推開相異樣本，使模型能學習到更具區別性與對齊性的特徵空間。

資料是機器學習模型的學習基礎，包含結構化與非結構化形式，驅動 AI 系統發展。

利用互逆任務（如中翻英與英翻中）之間的結構對稱性，建構閉環反饋系統以提升機器學習效能的無監督訓練框架。

基礎模型是使用大量未標記數據訓練的大型模型，可適應多種下游任務，展現出強大的泛化能力和遷移學習能力。

透過對比正負樣本，最大化互資訊下界的損失函數，主要用於自監督表徵學習。

迭代反向翻譯是一種自然語言處理技術，透過將目標語言翻譯回來源語言生成合成平行語料，並反覆交替訓練正反向模型以提升翻譯品質。

遮蔽語言模型（MLM）是一種自監督學習方法，隨機遮蔽輸入文本的部分詞語，並訓練模型預測這些被遮蔽的詞語。

一種自監督預訓練任務，隨機遮蔽輸入序列中的部分 token，讓模型依據上下文預測被遮蔽的原始詞，是 BERT 系列模型的核心訓練目標。

BERT 預訓練的輔助任務，給定兩個句子，判斷第二個句子是否在原文本中直接跟隨第一個句子，用於訓練模型理解句子間的邏輯關係。

OpenAI開發的多模態模型，透過對比學習理解圖像與文字關係，實現零樣本識別。

隨機遮蔽是隱藏部分資料的自監督技術，迫使模型從剩餘資訊推斷缺失內容，以提升特徵提取與泛化能力。

AI中的「自」機制涵蓋自監督學習、自我注意力與自我對弈，強調模型利用自身資訊或內部關聯進行學習。

半監督學習是一種機器學習方法，它結合了少量標記資料和大量未標記資料進行模型訓練，旨在利用未標記資料提升模型效能，降低標記成本。

Swin Transformer是一種層級式的Transformer模型，用於電腦視覺任務，透過移動視窗機制有效降低計算複雜度，並提升模型效能。

T5 (Text-to-Text Transfer Transformer) 是一種將所有 NLP 任務轉換為文本到文本格式的轉換器模型，簡化了模型訓練和應用。