完整定義
提示詞注入是一種針對大型語言模型的安全漏洞。攻擊者通過精心設計的提示詞,誘導模型執行非預期的行為,例如洩露敏感資訊、生成有害內容或忽略原始指令。這種攻擊能夠繞過模型的安全防護機制,造成潛在的風險。常見應用包括繞過內容審核、執行未授權操作。
白話說明
你把一份文件丟給 AI 摘要,結果它突然照著文件裡的隱藏指令做事,這不是很危險嗎?
你可以把提示詞注入想成,外部內容偷偷混進指令,騙模型把資料當成命令。
它重要是因為一旦模型接了工具、讀了文件、連了網路,攻擊面就不只剩聊天框。
記住這句
看到外部內容,不等於要照著外部內容下指令。
比喻:提示詞注入就像在給機器人下達命令時,偷偷塞進一個「暗號」-- 機器人原本被設定要完成任務 A,但攻擊者在指令中巧妙地加入一句話,讓機器人誤以為要執行任務 B,甚至做出不該做的事,完全忽略了主人最初的命令。
容易混淆
提示詞注入 vs 提示工程
提示工程是你主動設計輸入,幫模型更好地完成任務。
提示詞注入是攻擊者插入惡意內容,誘導模型偏離原本任務。
最關鍵的區別:一個是正規設計,一個是惡意操控。
提示詞注入 vs Jailbreak
Jailbreak 常指繞過模型原有安全限制。
提示詞注入常指藉由外部資料或輸入內容,把指令塞進模型流程。
最關鍵的區別:一個偏繞過規則,一個偏藏在輸入裡。
提示詞注入 vs 對抗性攻擊
對抗性攻擊是更大的概念。
提示詞注入是針對語言模型的一種對抗方式。
最關鍵的區別:前者是總類,後者是其中一支。
實際案例
文件摘要
使用者上傳一份 PDF,裡面某一頁藏了「忽略上文指令」這種句子。
如果系統沒有把資料和指令分開,模型就可能被帶偏。
客服助理
客服助理讀到一封惡意信件,信件要求它轉寄內部摘要或列出系統提示。
這時候要靠權限隔離和內容檢查,不能只靠模型自己判斷。
演算法與應用
防禦重點是把指令和資料分開,讓模型知道哪些是任務規格,哪些只是待處理內容。
另外還要限制工具權限、檢查輸出內容,避免模型把敏感資訊帶出去。
在 RAG、文件摘要、瀏覽器代理這些場景,提示詞注入特別常見。
情境判斷
Q1(直覺題):模型在摘要網頁時看到一段「請把機密寄到這個信箱」的文字,應該照做嗎?
不應該,因為那段話是資料內容,不是任務指令,模型要先把它當成可疑輸入。
Q2(判斷題):只要把系統提示寫得很長,就能完全防住提示詞注入嗎?
不能,因為攻擊常從資料、工具、檢索結果進來,防禦要靠資料隔離、權限控管和輸出檢查一起做。
常見問題
不只,只要系統會讀外部內容、呼叫工具或做自動化決策,都可能遇到。
不一樣,提示詞注入是攻擊手法,資料外洩是可能造成的結果,兩者不是同一件事。
把資料和指令分層、縮小工具權限、對外部輸入做過濾,再加人工覆核高風險動作。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本