iPAS 中級術語
查中文、英文或縮寫，找到定義、範例與相關考點。
- 生成式預訓練轉換器 Generative Pre-trained Transformer OpenAI 的自回歸語言模型，一個字接一個字生成文本，只使用 Decoder 架構
- 自然語言處理 Natural Language Processing 自然語言處理使電腦能理解、分析和生成人類語言，是 AI 語音助理與翻譯等應用的核心技術
- 注意力機制 Attention Mechanism 注意力機制讓神經網路在處理序列資料時，動態分配不同位置的關注權重，提升長距離依賴的捕捉能力
- 嵌入表示 Embedding 嵌入表示將離散的文字或類別映射為連續稠密向量，讓模型能捕捉語義相似性並進行數學運算
- 循環神經網路 Recurrent Neural Network 循環神經網路是一種具備「記憶」功能的神經網路，其能處理序列資料，並將前一步的輸出回饋至下一步
- 編碼器 Encoder 編碼器將輸入資料轉換為固定長度的向量表示，提取其語義特徵，以供解碼器或下游任務使用。
- 轉換器架構 Transformer 完全基於 Attention 機制的架構，不用 RNN 的循環結構，能平行處理整個序列
- AI 幻覺 Hallucination AI 幻覺是大型語言模型產生自信但事實錯誤或無中生有內容的現象，是 LLM 部署的主要風險
- BERT Bidirectional Encoder Representations from Transformers Google 的雙向語言模型，用 MLM（遮罩）和 NSP 預訓練，擅長理解文本語意