某研究團隊正在訓練一個針對低資源語言(如少數民族語言)的語言模型,但該語言僅有約1萬筆語料可用。在訓練過程中出現明顯的過擬合現象,若希望在不新增真實語料的前提下提升模型的泛化能力,採用下列哪一種方法最為適合?

iPAS 考題解析

某研究團隊正在訓練一個針對低資源語言(如少數民族語言)的語言模型,但該語言僅有約1萬筆語料可用。在訓練過程中出現明顯的過擬合現象,若希望在不新增真實語料的前提下提升模型的泛化能力,採用下列哪一種方法最為適合?

  • A. 將Transformer的隱藏層維度擴增至1024,以提升表徵能力
  • B. 採用反向翻譯(Back-Translation)技術,以生成額外目標語句的偽平行語料(Pseudo-Parallel Corpus) ✓ 正確答案
  • C. 對詞嵌入矩陣(Embedding Matrix)施加L1正則化以壓縮模型參數
  • D. 將多語言BERT(mBERT)中所有Transformer層全部凍結以保留預訓練知識

詳細解析

反向翻譯技術將目標語言句子翻譯成另一語言再翻回,生成大量偽平行語料,有效擴充低資源語言的訓練資料量,不需要人工標註即可改善過擬合問題。

出題年份:114 難度:★★☆