iPAS 備考專區 登入

iPAS AI 應用規劃師 初級 科目二 生成式 AI 應用與規劃・115 年第一次・L12・第 5 題

長對話要保持上下文一致,該用什麼模型架構?

原題

某企業導入生成式 AI 系統,希望自動產出客服回覆與內部文件摘要。系統需能理解使用者輸入的完整語句內容,並在回覆中維持語意連貫,即使對話內容較長仍能保持上下文一致性。基於上述需求,下列何種模型架構最為適合?

白話

企業要導入生成式 AI,用來自動產出客服回覆和內部文件摘要。系統有三個硬性需求:要能理解使用者的完整語句、回覆語意要連貫、即使對話很長也要維持上下文一致性。

問你:需要理解完整語句、語意連貫、長對話上下文一致,該選哪種模型架構?

一句話總結

需要理解完整語句、維持長對話上下文一致的生成式 AI,基於 Transformer 的自迴歸模型(如 GPT 系列)是目前最合適的架構,因為它能同時看到全部上下文並逐字生成連貫的回覆。

情境

先感受問題:AI 客服為什麼會「失憶」?

假設你在「快速保險」公司導入 AI 客服系統,使用者跟 AI 的對話可能長達十幾輪:

  • 使用者:「我的車險理賠申請了三週還沒處理。」
  • AI:「請提供您的申請單號。」
  • 使用者:「是 AX-2024-00123。」
  • 使用者:「對了,我的車是去年 10 月在台北停車場被刮傷的。」
  • 使用者:「這個案件什麼時候會有進展?」

使用者最後問的問題,要聯繫到前面提到的申請單號和事故背景,AI 才能給出有意義的回答。如果 AI「忘記」了前幾輪說的內容,就會問「請問您在詢問哪個案件?」,讓使用者崩潰。

能同時記住整段對話並保持語意連貫,這是題目的核心需求。

舊方法

其他架構為什麼在長上下文上吃力?

「快速保險」的工程師評估了幾個架構選項,發現各有根本限制:

  1. CNN(卷積神經網路):本來是做圖片辨識的,處理文字時只看局部片段(滑動窗口),沒辦法理解「申請單號」和十輪後「什麼時候有進展」之間的關係
  2. RNN(遞迴神經網路):一個字一個字依序處理,理論上可以記住上文,但在實踐中有「長期記憶衰退」問題:對話一長,早期的訊息就被稀釋遺忘,而且無法平行計算,速度很慢
  3. GAN(生成對抗網路):由生成器和判別器對抗訓練,特別適合生成逼真的圖片或音頻,但不適合需要理解語意和回覆文字的對話系統
  4. 傳統統計模型(如 n-gram 語言模型):只考慮前幾個詞,對話一長完全跟不上,更別說理解複雜的問句
  5. 純規則式客服系統:靠關鍵字比對,無法理解使用者的完整意圖,尤其是語意模糊或問句複雜時失效

每個舊方案都有「上下文理解能力有限」的根本問題。

新方法

Transformer 自迴歸模型怎麼解

「快速保險」最終選用基於 Transformer 架構的自迴歸模型。這個架構解決了長上下文問題,關鍵在兩個設計:

注意力機制(Attention):模型在生成每個字時,可以「回頭看」整個對話歷史,計算每個位置的重要程度。「什麼時候有進展」這句話要回答,模型會自動關注到之前提到的申請單號,因為它和「進展」最相關。

自迴歸生成(Autoregressive Generation):每次生成一個 token,把這個 token 加回到上下文中,再生成下一個,確保整個回覆從頭到尾語意連貫。不會前半句說「您的申請」後半句突然跳到別的話題。

效果:AI 客服可以處理長達幾千個 token 的對話歷史,不會「忘記」使用者五輪前說的內容,回覆始終圍繞使用者的具體問題。

這就是選項 C 講的:基於 Transformer 架構的自迴歸模型,透過注意力機制理解完整語句,透過自迴歸生成維持回覆的語意連貫。

錯選項

為什麼其他選項是錯的

A卷積神經網路(CNN)

字面在說什麼

用卷積核掃描輸入資料,擅長提取局部模式,最常見於圖像辨識任務。

為什麼不對

CNN 的卷積操作只看輸入的「局部片段」,無法建立文字之間的長距離語意關係。對話中「申請單號」和十輪後「什麼時候有進展」的關聯,CNN 根本無法捕捉。它更不適合生成連貫的文字回覆。

誰會選錯

只知道 CNN 是「強大的神經網路」、但不了解它擅長圖像而非文字語意理解的人。

B遞迴神經網路(RNN)

字面在說什麼

按序列一步一步處理輸入,每步都把上一步的「記憶」傳給下一步,理論上可以記住歷史。

為什麼不對

RNN 在處理長序列時面臨梯度消失問題,早期的上下文會隨著輸入長度增加而被「稀釋遺忘」。而且 RNN 必須按順序處理,不能平行計算,速度慢。對於需要保持長對話一致性的客服系統,RNN 是 Transformer 出現前的過渡方案,現已被取代。

誰會選錯

知道 RNN 是「處理序列資料的神經網路」、直覺認為「序列 = 對話」的人。但 RNN 的記憶能力在長對話上遠不如 Transformer。

D生成對抗網路(GAN)

字面在說什麼

由生成器和判別器兩個網路互相對抗訓練,生成器學會製造「以假亂真」的輸出,廣泛用於圖片生成。

為什麼不對

GAN 擅長生成連續資料(如圖片像素),但文字是離散的 token(每個詞是一個不連續的選項),GAN 在文字生成上訓練極不穩定,而且完全無法處理「理解對話上下文後再回覆」的需求。GAN 的設計邏輯是「以假亂真」,不是「理解後回答」。

誰會選錯

知道 GAN 是「生成式模型」、題目也在問「生成式 AI」,直覺覺得名字有「生成」就是答案的人。但「生成式 AI」這個術語是指能產生新內容的 AI,不是指 GAN 這個特定架構。

變形題

同個考點下次怎麼變形

延伸

想再往下看,這 5 個

答案、題目或解析有問題?回報這題

出處:iPAS 經濟部產業人才能力鑑定 ・ 115 年第一次 iPAS AI 應用規劃師 初級 科目二 生成式 AI 應用與規劃 第 5 題

看官方原文 PDF

原題 © 經濟部產業發展署,AITerms.tw 僅作教學解析使用,本站解析以 CC BY-NC-SA 4.0 授權。