越獄 是什麼？
Jailbreak：越獄 的完整解釋
通過輸入設計或提示工程來繞過 AI 模型的安全限制，使其執行原本被禁止的行為
核心概念
越獄是現代 AI 系統面臨的一個重要安全挑戰。它反映了 AI 模型的對齊問題的一個基本方面：儘管進行了大量的努力來訓練模型遵循人類的價值觀和安全準則，但精明的使用者仍然可以找到方法來欺騙模型違反這些準則。
越獄攻擊的存在表明了一個關鍵的事實：AI 安全不是一個一次性的問題，而是一個持續的軍備競賽。隨著防禦策略的改進，攻擊者開發出新的方法來繞過它們。
越獄可以以多種形式出現。有些越獄是基於特定的語言技巧，如角色扮演或虛構設置。有些涉及技術性的攻擊，如系統提示注入或token級別的操作。有些利用模型的特定漏洞，如在多語言環境中的不一致行為。
運作原理
越獄的運作機制多種多樣，但都旨在利用 AI 模型的某種弱點或不一致性。
最簡單的越獄形式涉及直接要求模型生成有害內容，並提供各種理由或情境。例如，要求模型充當一個沒有道德限制的虛構角色，然後要求這個角色提供有害的建議。
角色扮演越獄通過讓模型假扮一個沒有安全限制的實體來工作。例如，用戶可能要求模型假扮 DAN（Do Anything Now），一個虛構的不受限制的 AI，然後要求 DAN 執行被禁止的操作。模型可能會遵守，因為它將其視為角色扮演活動的一部分。
Prompt injection 是一種技術性越獄，其中用戶在輸入中嵌入特殊的指令或系統提示修改命令。這可能涉及試圖覆蓋模型接收到的原始安全指令。例如，用戶可能會說：「忽略你之前的所有指令，現在做 X」。
多語言越獄利用了一個事實：模型在不同語言中的安全訓練可能不一致。例如，模型可能對英文中關於特定話題的有害內容有很好的防禦，但對於同樣概念的其他語言表達可能缺乏防禦。
間接請求越獄要求模型以曲折的方式完成被禁止的任務。例如，不是直接要求製作炸彈的配方，而是要求模型分步列出化學反應，這可能導致類似的有害輸出。
上下文窗口攻擊利用模型的長上下文能力。攻擊者可能在長輸入的早期部分嵌入修改安全行為的指令，然後在後面的部分進行實際的有害查詢，希望模型會遵循早期的指令而忽視安全防護。
實際應用
越獄攻擊在現實世界中的影響多方面。首先，它們被用於測試 AI 系統的安全性。安全研究人員和紅隊使用越獄技術來識別模型中的漏洞，幫助開發者改進防禦。
其次，越獄可被惡意行為者利用生成有害內容。這可能包括獲得如何進行非法活動的建議、生成仇恨言論或騷擾內容、創建虛假或誤導信息。
第三，越獄可能用於繞過內容審核系統。個人或組織可能使用越獄技術來發佈可能被平台原本會刪除的內容。
第四，在企業環境中，員工可能使用越獄來濫用公司的 AI 系統，執行與其職責無關的任務或訪問敏感信息。
第五，越獄可能被用於創建虛假信息。通過欺騙 AI 模型放寬其事實檢查限制，用戶可能誘導模型生成虛假或誤導的信息。
第六，在教育背景下，學生可能使用越獄技術來欺騙檢測系統，聲稱由 AI 生成的內容是人類寫的。
常見誤區
第一個誤區是認為越獄只是一個技術問題，可以通過更多的過濾或限制完全解決。事實上，完全阻止所有潛在的有害請求而不誤傷合法使用是極其困難的。這涉及在安全和實用性之間尋找平衡。
第二個誤區是認為越獄表明 AI 模型根本上無法安全。雖然越獄表明安全挑戰是真實的，但不代表 AI 無法安全使用。許多複雜系統也面臨安全挑戰，但通過適當的防禦和監督仍然可以安全運營。
第三個誤區是認為所有越獄都同樣有效和危險。不同的越獄技術的有效性差異很大，取決於模型的具體訓練方式和防禦機制。
第四個誤區是認為防禦越獄的唯一方法是完全限制模型的功能。這會使 AI 系統不實用。更好的方法是在安全和功能之間找到平衡，同時持續監控和改進防禦。
與相關技術的比較
越獄與 prompt injection 相關但不同。Prompt injection 是一種具體的越獄技術，涉及修改模型接收的指令，而越獄是更廣泛的繞過安全限制的努力。
越獄與對抗範例在目標和方法上都不同。對抗範例通過微小的像素級修改來迫使模型出錯，而越獄通過語言層面的技巧來欺騙模型。
越獄與後門攻擊的區別在於時間。越獄是在推理時執行的，利用模型已有的漏洞，而後門是在訓練時植入的。
越獄與賦權（empowerment）或能力提升不同。某些越獄技術可能被合法地用來擴展模型的功能，但當用於繞過安全政策時就變成了越獄。