iPAS 中級術語
查中文、英文或縮寫，找到定義、範例與相關考點。
- 生成式預訓練轉換器 Generative Pre-trained Transformer OpenAI 的自回歸語言模型，一個字接一個字生成文本，只使用 Decoder 架構
- 生成對抗網路 Generative Adversarial Network 生成對抗網路是一種透過生成器與鑑別器互相對抗學習，最終使生成器能產出逼真資料的深度學習模型
- 自然語言處理 Natural Language Processing 自然語言處理使電腦能理解、分析和生成人類語言，是 AI 語音助理與翻譯等應用的核心技術
- 批次正規化 Batch Normalization 批次正規化是一種標準化技巧，針對每層網路的輸入進行調整，使訓練過程更穩定，並允許使用較大的學習率
- 卷積神經網路 Convolutional Neural Network 專門處理圖像的神經網路，用小窗口（卷積核）掃過圖片提取局部特徵，參數共享大幅減少計算量
- 注意力機制 Attention Mechanism 注意力機制讓神經網路在處理序列資料時，動態分配不同位置的關注權重，提升長距離依賴的捕捉能力
- 特徵擷取 Feature Extraction 特徵擷取是從原始資料中自動識別並提取有意義的特徵表示的過程，目的是降低資料維度同時保留關鍵資訊，提升模型學習效率
- 神經網路 Neural Network 神經網路是模仿人類大腦神經元結構的機器學習模型，由多層節點（神經元）組成，透過加權求和與激活函數學習複雜的非線性關係
- 循環神經網路 Recurrent Neural Network 循環神經網路是一種具備「記憶」功能的神經網路，其能處理序列資料，並將前一步的輸出回饋至下一步
- 微調 Fine-tuning 微調是在預訓練模型基礎上，以少量特定領域資料繼續訓練，使通用模型適應特定任務需求，提升性能。
- 編碼器 Encoder 編碼器將輸入資料轉換為固定長度的向量表示，提取其語義特徵，以供解碼器或下游任務使用。
- 隨機丟棄 Dropout 隨機丟棄是一種訓練技巧，透過隨機關閉部分神經元，避免網路過度依賴單一路徑，提升模型的泛化能力
- 擴散模型 Diffusion Model 擴散模型是一種生成模型，透過逐步將雜訊還原成清晰圖像，達成從隨機雜訊生成資料的目的
- 轉換器架構 Transformer 完全基於 Attention 機制的架構，不用 RNN 的循環結構，能平行處理整個序列
- 變分自編碼器 Variational Autoencoder 變分自編碼器（VAE）是一種生成式深度學習模型，它將輸入資料壓縮成潛在空間中的機率分佈，並能從中採樣以生成多樣化且具代表性的新資料樣本。
- BERT Bidirectional Encoder Representations from Transformers Google 的雙向語言模型，用 MLM（遮罩）和 NSP 預訓練，擅長理解文本語意