AITerms 登入
AI倫理與治理模型評估模型訓練

人工智慧安全(AI Safety)是什麼?

人工智慧安全旨在確保AI系統在部署後,其行為符合人類意圖,避免產生意外或有害的後果,保障人類福祉。

完整定義

人工智慧安全是一種跨領域的研究,旨在確保AI系統的行為符合人類意圖,避免產生意外或有害的後果。它用於預防AI系統失控、被濫用或產生不符合倫理的行為。常見應用包括開發更穩健的AI模型、建立安全協議和監控機制。

白話說明

你有沒有看過聊天機器人回答得很順,卻順到開始亂講?

你可以把人工智慧安全想成替 AI 裝護欄,讓它就算理解錯、推理錯,也不要做出危險或有害的結果。它關心的不是模型看起來多聰明,而是它在真實世界會不會惹麻煩。

這很重要,因為 AI 一旦接上工具、權限和真實資料,錯一次就可能是刪檔、誤判、外洩,後果不會只停在畫面上。

記住這句

讓 AI 能做事,但不要讓它做出不可收拾的事。

比喻:AI安全就像設計自動駕駛汽車的安全氣囊和防撞系統 -- 它們的目標是確保AI這個「駕駛員」在任何情況下都能保護乘客,避免意外發生,即使系統出錯也能將傷害降到最低。

容易混淆

AI安全 vs AI倫理

安全看會不會造成傷害。

倫理看應不應該這樣做。

最關鍵的區別:安全偏風險,倫理偏價值。

AI安全 vs 對齊校準

對齊校準是讓模型更符合人類意圖。

AI安全是更大的範圍,包含對齊、測試、監控和限制。

最關鍵的區別:對齊是其中一種手段。

AI安全 vs AI治理

安全偏技術防線。

治理偏組織管理和責任分工。

最關鍵的區別:一個管系統,一個管制度。

實際案例

客服機器人亂回覆

如果客服模型把退款規則說錯,使用者可能拿到不該拿的補償,或被誤導去做錯步驟。安全設計會加上規則檢查和人工覆核。

工具型代理亂操作

一個能幫你下指令的 AI 代理,若沒有安全限制,可能直接刪資料、亂寄信或誤叫 API,所以要先把可用工具和權限收緊。

深入了解

常見安全做法

紅隊演練、對抗測試、輸出過濾、權限限制、人工確認和監控告警,通常會一起用。

安全不是一次完成

模型更新、資料變動、攻擊手法變化,都會讓原本的安全措施失效,所以要持續檢查。

情境判斷

Q1(直覺題): 一個模型在測試資料上很準,但上線後會偶爾亂編答案,這屬於什麼問題?

AI安全問題。因為它在真實環境中產生了有害或不可靠的行為。

Q2(判斷題): 只要把模型變小,AI 就一定更安全嗎?

不一定,這要看情況。模型變小可能降低某些風險,但如果權限、資料或流程沒管好,危險還是在。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 3 題把人工智慧安全列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本