AITerms 登入
AI倫理與治理機器學習強化學習

超級對齊(Superalignment)是什麼?

超級對齊旨在確保遠超人類智慧的AI系統,其目標與人類價值觀對齊,避免潛在的失控風險。

完整定義

超級對齊是指確保超級智能AI系統的目標、價值觀和行為與人類的意圖和利益對齊。由於超級智能AI的能力遠超人類,一旦其目標與人類不一致,可能導致難以預測甚至災難性的後果。超級對齊旨在解決這個潛在的控制問題,確保AI系統始終服務於人類。

白話說明

你有沒有想過,模型越強,越需要先管住方向?

你可以把它想成先替超強模型設好目標和邊界。

超級對齊 的重點是 超級對齊旨在確保遠超人類智慧的AI系統,其目標與人類價值觀對齊,避免潛在的失控風險。

它重要,是因為能力不等於可靠,安全和對齊做不好,部署風險會很高。

記住這句

不是只看會不會答,還要看會不會跑偏。

比喻:超級對齊就像教一個潛力無限的超級天才 -- 我們不只教他知識,更要確保他理解並認同人類的道德和價值觀,以免他將來能力太強大卻做出傷害人類的事。

容易混淆

超級對齊 vs 通用人工智慧

超級對齊:偏向 把模型能力拉回可控範圍

通用人工智慧:偏向 更大的目標形態

最關鍵的區別:超級對齊看的是「把模型能力拉回可控範圍」,通用人工智慧看的是「更大的目標形態」。

超級對齊 vs 人工智慧安全

超級對齊:偏向 把模型能力拉回可控範圍

人工智慧安全:偏向 AI 安全的基礎概念

最關鍵的區別:超級對齊看的是「把模型能力拉回可控範圍」,人工智慧安全看的是「AI 安全的基礎概念」。

實際案例

案例:前沿模型上線前先做安全評測

先測偏差、風險和失控情況,再談正式部署

案例:公司想訂出使用邊界

先定規則,比事後補救更有效

深入了解

先看模型會不會偏離人類意圖

治理、評測和紅隊測試要一起做

不是把模型變弱,而是把模型變可控

情境判斷

Q1(直覺題): 模型只要答對問題,就代表安全嗎?

不代表,還要看它會不會越界、幻覺或被誘導做錯事。

Q2(判斷題): 如果產品只是內部測試,就可以先不做對齊嗎?

看情況,但只要會接觸敏感資料或真實使用者,基本安全檢查就不能省。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本