iPAS 備考專區 登入

iPAS AI 應用規劃師題庫・中級・L21 AI 技術應用與規劃

iPAS 考題解析當 Transformer 模型發生「注意力分布過於平均(Attention Collapse)」的情形時,導致模型無法有效聚焦於關鍵資訊,下列哪一項策略可有效改善此問題?

原卷題來源:iPAS 114 年第二次中級科目一 第 18 題(原卷)

你的作答

解析

正確答案:D. 對注意力權重施加稀疏化約束(Sparsity Constraint)

解決 Attention Collapse 的方法:對注意力權重施加稀疏化約束(Sparsity Constraint),強迫模型只把注意力集中在少數幾個最重要的位置,不能讓所有位置的注意力都差不多。

這題有完整的逐題解析

情境、白話說明、每個錯選項的陷阱,以及同一個考點下次會怎麼變形。

答案、題目或解析有問題?回報這題

題目 © 經濟部產業發展署,AITerms.tw 僅作教學解析使用,本站解析以 CC BY-NC-SA 4.0 授權。