iPAS 考題解析某研究團隊正在訓練一個針對低資源語言（如少數民族語言）的語言模型，但該語言僅有約1萬筆語料可用。在訓練過程中出現明顯的過擬合現象，若希望在不新增真實語料的前提下提升模型的泛化能力，採用下列哪一種方法最為適合？

解析

正確答案：B. 採用反向翻譯（Back-Translation）技術，以生成額外目標語句的偽平行語料（Pseudo-Parallel Corpus）

反向翻譯技術將目標語言句子翻譯成另一語言再翻回，生成大量偽平行語料，有效擴充低資源語言的訓練資料量，不需要人工標註即可改善過擬合問題。

每個選項為什麼對或錯

• A 將Transformer的隱藏層維度擴增至1024，以提升表徵能力 錯誤選項

  擴增隱藏層維度會增加模型容量，在小資料集上反而加劇過擬合。

• B 採用反向翻譯（Back-Translation）技術，以生成額外目標語句的偽平行語料（Pseudo-Parallel Corpus） 正解

  反向翻譯生成偽語料是低資源語言擴充資料的有效方法，不需新增真實語料。

• C 對詞嵌入矩陣（Embedding Matrix）施加L1正則化以壓縮模型參數 錯誤選項

  L1正則化壓縮參數有助於防止過擬合，但效果有限且可能損失表徵能力。

• D 將多語言BERT（mBERT）中所有Transformer層全部凍結以保留預訓練知識 錯誤選項

  全部凍結mBERT層會讓模型無法針對目標語言進行適應性學習。

答案、題目或解析有問題？回報這題

題目 © 經濟部產業發展署，AITerms.tw 僅作教學解析使用，本站解析以 CC BY-NC-SA 4.0 授權。