模型卡（Model Card）是什麼？

概述AI模型性能、限制、預期用途、評估指標與潛在風險的文件。

核心概念

模型卡（Model Card）是一種結構化的文件，旨在為 AI 模型提供一份全面的概覽，詳細說明其性能、限制、預期用途、評估指標、潛在風險以及訓練數據等關鍵資訊。其核心概念源於對 AI 系統透明度和可解釋性的需求，特別是在模型部署到實際應用中時，使用者和開發者需要清晰地理解模型的行為邊界和潛在影響。模型卡的目的在於促進負責任的 AI 開發與部署，幫助利益相關者（包括開發者、使用者、政策制定者）評估模型的適用性、公平性、魯棒性，並識別可能存在的偏誤或風險。透過標準化的資訊呈現，模型卡有助於建立對 AI 系統的信任，並為其負責任的使用提供指導。

運作原理

模型卡的運作原理是透過提供一系列標準化的資訊欄位，引導模型創建者或維護者系統性地記錄關鍵元數據。這些資訊通常包括但不限於：

1. 模型名稱與版本：清晰識別模型。
2. 創建者與維護者：責任歸屬。
3. 模型描述：簡要介紹模型的功能、架構類型（例如，卷積神經網路、Transformer）、以及其解決的問題。
4. 訓練資料：說明模型所使用的訓練資料集，包括其來源、規模、收集方法、以及任何已知的偏誤或限制。通常會參考或連結到相關的資料卡。
5. 預期用途：明確指出模型設計用於解決哪些問題、在什麼情境下使用、以及其適用範圍。
6. 評估指標與性能：詳細列出模型在不同評估指標（例如，準確率、精確度、召回率、F1 分數、AUC）上的表現，特別是針對不同子群體（例如，不同性別、種族、年齡組）的表現，以評估公平性。
7. 限制與潛在風險：這是模型卡最關鍵的部分之一。它要求坦誠地揭示模型的局限性，例如，在特定數據分佈下的性能下降、對抗性攻擊的脆弱性、可能產生的偏誤（如性別偏誤、種族偏誤）、以及可能對社會或個人造成的負面影響。
8. 倫理考量：討論模型在開發、部署和使用過程中可能涉及的倫理問題，例如隱私、公平性、透明度、問責制等。
9. 維護計畫：說明模型將如何監控、更新、重新訓練以及廢棄的策略。 透過這些資訊，使用者可以對模型建立全面的認知，評估其適用性與風險。

實際應用

模型卡在 AI 領域的應用日益廣泛，尤其是在以下幾個方面：

1. 負責任 AI 部署：在模型部署到生產環境之前，模型卡提供了一個關鍵的審查點，確保所有利益相關者都理解模型的行為、限制和潛在風險。例如，在醫療診斷 AI 模型的部署中，模型卡可以明確指出模型在特定疾病或人口群體上的診斷準確性，以及其不適用於哪些情況，從而指導醫生做出更安全的決策。
2. 開源模型發布：許多大型預訓練模型（如 BERT、GPT 系列、ResNet）在發布時會附帶類似模型卡的說明文件，幫助研究人員和開發者理解模型的能力、限制和使用指南。例如，Google AI 曾為其發布的多個模型提供了詳細的模型卡，闡述了模型的訓練數據、評估結果和潛在的社會影響。
3. 企業內部模型治理：在企業環境中，模型卡作為 MLOps（機器學習營運）流程的一部分，有助於建立統一的模型管理標準。它確保不同團隊在共享和使用模型時，都能對其有共同的理解，減少溝通成本和潛在的誤解。這對於確保模型的可追溯性、合規性和風險管理至關重要。
4. 學術研究與評估：研究人員在比較不同模型或演算法時，可以參考模型卡來評估模型的性能、公平性和魯棒性，確保實驗結果的公平性與可比性。 總體而言，模型卡是實現 AI 系統透明化、可信賴性和問責制的關鍵工具之一。

常見誤區

儘管模型卡具有重要價值，但在實踐中也存在一些常見誤區：

1. 將模型卡視為免責聲明：模型卡旨在揭示模型的局限性和風險，而非為潛在的負面後果提供藉口。其目的是促使開發者和使用者正視並解決問題，而不是簡單地聲明「我們已經警告過了」。
2. 只關注整體性能而忽略細分群體：許多模型卡可能只報告模型在整個測試集上的平均性能指標，而未能深入分析模型在不同人口統計學子群體（例如，不同性別、種族、年齡、地理位置）上的表現。這可能掩蓋模型對特定群體的不公平性或性能下降問題。
3. 模型卡內容更新不及時：模型在部署後可能會隨著時間推移、數據漂移或重新訓練而發生行為變化。如果模型卡未能及時更新以反映這些變化，其提供的資訊將會過時，失去參考價值。持續的監控和更新是確保模型卡實用性的關鍵。
4. 撰寫過程流於形式：如果模型卡的撰寫只是為了滿足合規性要求，而沒有經過認真思考和深入分析，那麼它可能只是一堆空泛的文字，無法提供有價值的洞察。
5. 過度依賴模型卡而忽略其他可解釋性工具：模型卡提供高層次的概覽，但它不能替代更深入的模型可解釋性技術（如 LIME、SHAP），這些技術可以解釋模型對特定輸入的決策過程。模型卡與這些工具是互補的。

與相關技術的比較

模型卡與其他一些概念和技術有著密切的關係，但其側重點有所不同：

1. 與資料卡（Data Card）的關係：模型卡和資料卡是互補的。資料卡關注 AI 系統的輸入數據，而模型卡則關注 AI 模型的輸出行為、性能、限制和潛在風險。一個負責任的 AI 系統通常需要同時提供資料卡和模型卡，以提供從數據到模型的端到端透明度。模型卡中的「訓練資料」部分通常會連結到或總結相關的資料卡資訊。
2. 與模型文件（Model Documentation）/API 文件（API Documentation）的區別：模型文件和 API 文件更側重於模型的技術實現細節、如何調用 API、輸入輸出格式、錯誤碼等，主要服務於開發者。模型卡則在此基礎上更進一步，不僅包含技術細節，更強調模型的社會、倫理、偏誤、預期用途和風險等非技術性但對 AI 系統至關重要的資訊。模型卡是為更廣泛的受眾（包括非技術人員）設計的，旨在提供對模型更全面的理解。
3. 與模型可解釋性（Explainable AI, XAI）的關係：模型可解釋性技術旨在揭示模型內部的工作原理和決策過程。模型卡則提供了一個高層次的總結和歸納，說明模型的整體行為和限制。XAI 技術可以為模型卡中關於「限制與潛在風險」或「倫理考量」的部分提供更深入的證據和分析。兩者共同作用，提升了 AI 系統的透明度和可信賴性。