AITerms 登入
自然語言處理模型評估自監督學習

完形填空任務(Cloze Task)是什麼?

完形填空任務是一種語言理解測試,透過移除文本中的部分詞彙,要求模型或人類填補缺失部分,以評估其對上下文的理解能力。

完整定義

完形填空任務(Cloze Task)是一種評估語言理解能力的經典方法。它透過從一段文本中移除部分詞彙,並要求受試者(可以是人類或機器學習模型)填補這些缺失的詞彙。成功完成任務需要對上下文、語法和語義有深入的理解。完形填空任務廣泛應用於語言教學、閱讀理解評估以及自然語言處理模型的訓練和評估。

白話說明

你有沒有做過英文考試裡那種「把空格填上正確答案」的題目?

完形填空任務就是這個概念的AI版本:把一段文字裡的某些詞遮起來,讓模型根據前後文推測被遮住的詞是什麼。這不只是在考記憶力,而是在測試模型是否真正理解語言的脈絡和邏輯。

你可以把它想成一個先回答「用途是什麼」的入口,抓住生活場景後,再看技術細節會更容易。

記住這句

遮住一個詞,讓 AI 用前後文猜答案,猜得好就是真懂語言。

比喻:完形填空任務就像我們小時候考試的「挖空題」-- 給你一段話,但中間有些字被挖掉了,你要根據前後文的意思,填入最適合的字。這不只考你單字量,更考你對整句話語意的理解,看你是不是真的讀懂了。

容易混淆

完形填空任務 vs 選擇題 vs 自迴歸生成

完形填空任務:把句子中間的詞遮住,讓模型根據前後文雙向推測答案,可能有多個合理答案。

選擇題:從固定選項中挑一個,答案唯一且受限。

自迴歸生成:只根據前文往後預測下一個詞,看不到後文。

最關鍵的區別:完形填空是「雙向理解」,同時看前後文來填空,這讓模型對語境的理解比只看前文的自迴歸方式更深。

實際案例

BERT 的預訓練

Google 的 BERT 模型在訓練時,隨機遮住輸入文本中 15% 的詞,讓模型預測被遮住的內容。經過在大量文本上的訓練後,BERT 在 11 項 NLP 基準測試中刷新紀錄,證明完形填空是訓練語言理解能力的極佳方式。

語言能力評估

一家教育科技公司用完形填空任務來測試學生的英文閱讀理解能力。他們發現,完形填空的成績和學生整體的語言能力相關性高達 0.85,比傳統選擇題更能反映真實的語言理解程度,因為它要求學生真正理解上下文而不是靠猜。

深入了解

步驟
選擇文本
做什麼
準備大量自然語言文本作為訓練資料
關鍵考量
文本要多樣化,涵蓋不同領域和風格
步驟
遮蔽詞彙
做什麼
隨機選取一定比例的詞進行遮蔽(通常 15%)
關鍵考量
遮蔽太多會讓任務太難,太少則學不到足夠的語言知識
步驟
模型預測
做什麼
讓模型根據前後文預測被遮蔽的詞
關鍵考量
模型需要同時利用左右兩側的上下文資訊
步驟
計算損失
做什麼
比較預測結果和真實答案,計算誤差
關鍵考量
只計算被遮蔽位置的損失,其他位置不參與
步驟
更新參數
做什麼
根據損失更新模型參數
關鍵考量
反覆訓練直到模型能準確預測大部分被遮蔽的詞

情境判斷

Q1(直覺題): 你想訓練一個模型來理解中文語法和語意,你應該用完形填空任務還是讓模型從頭到尾生成文章?

完形填空任務。它強迫模型同時考慮前後文,比單向生成更能學會語言的深層結構。BERT 就是靠這個方法在中文 NLP 任務上也取得了突破性的成績。

Q2(判斷題): 你用完形填空訓練了一個語言模型,發現它在預測常見詞(如「的」「是」)時準確率很高,但預測專業術語時表現很差。這是模型的問題還是訓練資料的問題?

最可能是訓練資料的問題。如果訓練語料中缺乏專業領域的文本,模型就沒有機會學習那些術語的用法和語境。解法是加入更多專業領域的文本,或者在通用模型上用專業語料做二次預訓練。但也要注意,有些罕見詞本身出現頻率就低,即使加了資料也不一定能大幅提升。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本