某研究團隊正在訓練一個針對低資源語言(如少數民族語言)的語言模型,但該語言僅有約1萬筆語料可用。在訓練過程中出現明顯的過擬合現象,若希望在不新增真實語料的前提下提升模型的泛化能力,採用下列哪一種方法最為適合?
iPAS 考題解析
某研究團隊正在訓練一個針對低資源語言(如少數民族語言)的語言模型,但該語言僅有約1萬筆語料可用。在訓練過程中出現明顯的過擬合現象,若希望在不新增真實語料的前提下提升模型的泛化能力,採用下列哪一種方法最為適合?
- A. 將Transformer的隱藏層維度擴增至1024,以提升表徵能力
- B. 採用反向翻譯(Back-Translation)技術,以生成額外目標語句的偽平行語料(Pseudo-Parallel Corpus) ✓ 正確答案
- C. 對詞嵌入矩陣(Embedding Matrix)施加L1正則化以壓縮模型參數
- D. 將多語言BERT(mBERT)中所有Transformer層全部凍結以保留預訓練知識
詳細解析
反向翻譯技術將目標語言句子翻譯成另一語言再翻回,生成大量偽平行語料,有效擴充低資源語言的訓練資料量,不需要人工標註即可改善過擬合問題。
出題年份:114 難度:★★☆