AITerms 登入
機器學習資訊安全模型訓練

資料投毒攻擊(Data Poisoning)是什麼?

資料投毒攻擊是一種惡意攻擊,攻擊者將惡意或錯誤的資料注入到訓練資料集中,以影響機器學習模型的性能或行為。攻擊目標是使模型產生錯誤的預測或執行其他有害操作。

完整定義

資料投毒攻擊(Data Poisoning Attack)是一種針對機器學習模型的攻擊,攻擊者通過將惡意或錯誤的資料注入到模型的訓練資料集中,來影響模型的性能或行為。攻擊的目的是使模型產生錯誤的預測,或者執行其他有害的操作,例如,將垃圾郵件分類為非垃圾郵件,或者將惡意軟體分類為良性軟體。

白話說明

你有沒有在你懷疑有人把壞資料混進訓練集時,還在想這件事到底該怎麼看?

把它想成在模型上課前先塞錯答案。

攻擊者不是在模型上線後騙它,而是在訓練時悄悄改它學到的東西。

一旦污染資料,模型可能學到錯誤規則,後果會很難補。

記住這句

訓練前下毒,模型學歪。

比喻:資料投毒攻擊就像在食譜裡偷加毒藥 -- 攻擊者偷偷把有問題的「食材」(惡意資料)混進模型學習用的「食譜」裡,讓模型學壞,做出錯誤的判斷。

容易混淆

adversarial-attack

vs 對抗式攻擊 (Adversarial Attack):投毒是在模型「訓練前」下毒,影響模型的學習過程;對抗式攻擊是在模型「部署後」給它看精心製作的假資料,騙它做出錯誤判斷。

常見混淆:資料投毒攻擊 vs adversarial-attack

投毒在訓練前下手,對抗式攻擊多在部署後騙模型。

實際案例

內容審核

惡意樣本混進資料後,模型可能把違規內容判成正常。

標籤翻轉

把正確類別偷偷改錯,讓模型學到反向關係。

演算法與應用

1. 投毒可發生在資料蒐集、標註或訓練前整理的任何階段。

2. 防禦方式包含資料驗證、異常偵測、魯棒訓練和權限控管。

3. 如果資料來源很多,血緣和版本管理會變得更重要。

情境判斷

Q1:如果訓練資料突然混進異常樣本,最可能的風險是什麼?

模型學到錯誤規則,之後判斷會被帶偏。

Q2:模型效果變差就一定是投毒嗎?

不一定,也可能是資料漂移、標註錯誤或前處理問題。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本