iPAS 備考專區 登入

iPAS AI 應用規劃師 初級 科目二 生成式 AI 應用與規劃・115 年第一次・L12・第 43 題

為什麼金融業要把 LLM 建在自己的環境裡?

原題

某金融服務公司規劃導入生成式 AI,在評估模型部署方式時,基於內部控制與治理要求,企業考慮將大型語言模型建置於公司可管理環境,而非直接採用外部雲端服務。下列何者最能合理說明此部署決策的潛在優勢?

白話

某金融服務公司在評估生成式 AI 的部署方式時,基於內部控制與治理要求,選擇將大型語言模型建置於公司可管理的環境,而不是直接採用外部雲端服務。

問你:選擇將模型建置於公司可管理環境,而非採用外部雲端服務,最能合理說明這個決策的潛在優勢是什麼?

一句話總結

把大型語言模型建在公司自己可管理的環境裡,最主要的優勢是:敏感資料不需要傳到外部服務,大幅降低資料外洩的風險。

情境

先感受問題:銀行的客戶資料能不能送給外部 AI?

「信富銀行」的數位創新部門想導入生成式 AI,幫客服人員快速查詢客戶的貸款紀錄、交易歷史,生成個人化的回應話術。

聽起來很美好,但法務長陳志遠馬上提出警告:「我們的客戶交易資料受金融監管法規保護,如果資料要傳到外部雲端的 AI 服務,等於把客戶的敏感金融資訊傳給第三方,合規風險極高,資安長也不會同意。」

於是討論聚焦到一個問題:能不能把 AI 模型建在銀行自己的資料中心,讓資料在防火牆內流動,永遠不離開受控環境?這樣客服人員輸入查詢,資料在內部 AI 伺服器處理,結果也留在內部,敏感資料從來不需要傳到外面。

這個部署決策的最大好處,是「敏感資料傳輸風險的大幅降低」。

舊方法

直接用外部雲端 AI API 的問題

如果「信富銀行」直接用外部雲端的 LLM API,會面臨這些問題:

  1. 資料傳輸就是洩漏風險:每次查詢,客戶的帳號、交易紀錄、貸款資訊都要打包成 prompt 送到外部伺服器,中間有被攔截、被儲存、被分析的風險
  2. 第三方服務條款的不確定性:外部 AI 服務商的條款可能允許用使用者的輸入資料改善模型,這在金融合規中是明確違規項目
  3. 監管機關無法稽核:金融監管機關要求企業能完整稽核資料流向,但資料傳到外部服務後,流向就超出企業可控範圍
  4. 資料主權問題:外部伺服器可能在境外,這在台灣的金融法規下涉及跨境資料傳輸的額外合規要求
  5. 意外輸入敏感資訊:就算有流程規定,實際操作中客服人員可能不小心把完整客戶資料貼進查詢框,這個人為風險在外部服務下代價更大

每一個問題都可能讓銀行面臨金融監管罰款、客戶信任崩塌或資安事件。

新方法

自建可管理環境怎麼解決這些問題

「信富銀行」決定採用私有部署(Private Deployment):在銀行自己的資料中心架設 LLM,整個查詢流程在企業防火牆內完成。

資料不出門:客服人員的查詢請求、資料庫調用、模型回覆,全部在內部網路完成,沒有任何客戶資料需要傳輸到外部服務。這直接消除了「資料傳給第三方」的風險。

完整稽核可能:IT 團隊可以完整記錄每一筆查詢的輸入輸出,監管機關要求的稽核紀錄可以完整提供,不存在「資料流向外部無法追蹤」的黑箱。

存取控制完全掌握:銀行自己決定哪些系統可以呼叫 AI 模型、哪些人有權限、什麼情況下要記錄或拒絕,不受外部服務的平台政策限制。

這就是選項 B 講的:可降低敏感資料需傳輸至外部服務的風險,自建於可管理環境最直接帶來的優勢,是讓資料留在企業可控的範圍內。

錯選項

為什麼其他選項是錯的

A有助於提升模型回覆穩定性並降低隨機性影響

字面在說什麼

把模型建在自己環境裡,就能讓模型的回答更穩定、減少每次結果不同的情況。

為什麼不對

模型的回覆隨機性(temperature)是模型本身的參數設定,跟部署在哪裡無關。自建部署不會神奇地讓模型輸出更穩定,這個優勢無論是雲端還是本地部署都一樣,透過調整 temperature 參數就可以控制。

誰會選錯

認為「自己管的東西比較穩」的直覺推論者。穩定性是模型參數問題,不是部署位置問題。

C可直接減少模型訓練與維運所需資源投入

字面在說什麼

自建部署可以節省模型訓練和日常維護的資源和成本。

為什麼不對

完全相反。自建部署需要企業自己購置或租用 GPU 伺服器、維護硬體、管理模型版本、配置 MLOps 工程師。相比之下,使用外部雲端 API 才是「不需要自己維護模型基礎設施」的選擇,資源投入更少。

誰會選錯

把「自建」跟「省成本」聯想在一起的人。IT 基礎設施是資本支出,自建通常比租用 API 的初期成本高很多。

D可避免模型輸出偏差與幻覺(Hallucination)問題

字面在說什麼

把模型建在自己環境裡,就可以避免模型產生不正確或捏造的輸出。

為什麼不對

幻覺(Hallucination)是語言模型的固有特性,源自模型的訓練方式,跟部署在哪裡沒有關係。自建部署的模型和外部雲端的模型,如果是同一個底層架構,幻覺問題會一樣存在。降低幻覺要靠提示工程(Prompt Engineering)、RAG、Fine-tuning,不是靠改變部署位置。

誰會選錯

把「自己管控」理解成「可以避免一切模型問題」的人。部署位置管的是資料流向,不管得了模型本身的生成行為。

變形題

同個考點下次怎麼變形

延伸

想再往下看,這 5 個

答案、題目或解析有問題?回報這題

出處:iPAS 經濟部產業人才能力鑑定 ・ 115 年第一次 iPAS AI 應用規劃師 初級 科目二 生成式 AI 應用與規劃 第 43 題

看官方原文 PDF

原題 © 經濟部產業發展署,AITerms.tw 僅作教學解析使用,本站解析以 CC BY-NC-SA 4.0 授權。