iPAS 考題解析當Transformer模型發生「注意力分佈過於平均（Attention Collapse）」的情形時，導致模型無法有效聚焦於關鍵資訊，下列哪一項策略可有效改善此問題？

解析

正確答案：D. 對注意力權重施加稀疏化約束（Sparsity Constraint）

對注意力權重施加稀疏化約束，可強制模型將注意力集中於少數關鍵位置，而非平均分散在所有位置，從而解決注意力崩潰（Attention Collapse）問題，使模型聚焦關鍵資訊。

每個選項為什麼對或錯

• A 提高Query-Key點積（Dot Product）的縮放常數 錯誤選項

  提高縮放常數會使點積更大，可能加劇Softmax飽和問題，反而更平均。

• B 在Softmax前加入高斯雜訊（Gaussian Noise） 錯誤選項

  加入高斯雜訊會增加隨機性，無法有效集中注意力。

• C 使用ReLU函數取代Softmax 錯誤選項

  ReLU不會生成加總為1的機率分佈，不適合取代注意力中的Softmax。

• D 對注意力權重施加稀疏化約束（Sparsity Constraint） 正解

  稀疏化約束直接限制注意力只能聚焦於少數重要位置，是解決注意力平均化的有效方法。

答案、題目或解析有問題？回報這題

題目 © 經濟部產業發展署，AITerms.tw 僅作教學解析使用，本站解析以 CC BY-NC-SA 4.0 授權。