自然語言處理 術語大全

AI 幻覺是大型語言模型產生自信但事實錯誤或無中生有內容的現象，是 LLM 部署的主要風險

Google 的雙向語言模型，用 MLM（遮罩）和 NSP 預訓練，擅長理解文本語意

BLEU分數是一種評估機器翻譯文本品質的指標，通過比較候選譯文與參考譯文的n-gram重疊程度來計算，數值越高表示翻譯品質越好。

BM25 (Best Matching 25) 是一種用於資訊檢索的排序函數，它基於詞頻和逆文檔頻率，並考慮了文檔長度的影響，以提高檢索的準確性。

Hugging Face 提供開源機器學習模型與資料集託管，協助開發者協作、分享並快速部署各類人工智慧應用。

KL散度（Kullback-Leibler Divergence）衡量兩個機率分佈的差異，數值越大代表分佈差異越大，常用於評估模型預測分佈與真實分佈的接近程度。

LangChain是一個用於開發基於大型語言模型（LLM）應用程式的框架。它簡化了LLM的整合、鏈接和部署，讓開發者能快速構建複雜的AI應用。

N元語法是一種自然語言處理技術，用於預測序列中下一個詞的概率，基於前N-1個詞的出現頻率。

OpenAI開發的多模態模型，透過對比學習理解圖像與文字關係，實現零樣本識別。

ReAct框架是一種結合推理（Reasoning）和行動（Acting）的AI Agent框架，允許模型在解決問題的過程中進行思考、規劃和執行。

ROUGE評分是一種用於評估自動文本摘要或機器翻譯品質的指標，通過比較生成文本與參考文本的n-gram重疊程度來衡量。

衡量一個詞對文件的重要性：在這篇文件中出現多（TF 高）但在其他文件中少見（IDF 高）的詞最重要

三元組抽取是從文本中提取（主語，謂語，賓語）三元組的過程，是構建知識圖譜的基礎，也是關係抽取的一種形式。

將冗長的上下文內容壓縮為簡潔的摘要或關鍵信息，減少語言模型的輸入長度和計算成本。

上下文學習 (In-context Learning) 指的是大型語言模型無需額外訓練，僅通過輸入範例即可學習新任務的能力。

上下文學習理論指大型語言模型無需額外訓練，僅憑藉輸入提示中的範例，即可執行新任務的能力，展現了模型泛化的潛力。

上下文窗口是指，大型語言模型一次性能處理的最大 Token 數量，超過此限制模型便會遺忘先前的內容

AI 模型在生成回應或進行預測時，所能參考與記憶的輸入資訊範圍及歷史對話內容。

BERT 預訓練的輔助任務，給定兩個句子，判斷第二個句子是否在原文本中直接跟隨第一個句子，用於訓練模型理解句子間的邏輯關係。

互信息衡量兩個隨機變數之間相互包含的信息量，數值越大代表相關性越高，常用於特徵選擇、圖像配準等任務。

研究人類與機器人之間互動的跨學科領域，旨在設計更自然、高效且安全的協作方式，提升使用者體驗與系統效能。

人類回饋強化學習（RLHF）是一種利用人類回饋訊號，訓練強化學習模型，使其行為更符合人類偏好的方法。

位元組對編碼（BPE）是一種資料壓縮技術，也常用於自然語言處理中，作為一種詞彙標記化方法，將單詞分解成更小的子詞單元。

位置編碼是一種將序列中單詞或符號的位置資訊嵌入到向量表示中的技術，使模型能感知序列順序。

LoRA是一種參數高效的微調技術，透過學習低秩矩陣來適應預訓練模型，大幅減少訓練參數，降低計算成本。

依存句法分析是自然語言處理中，分析句子中詞彙之間的依存關係，建立句子的語法結構，揭示詞彙間的修飾、支配等關係。

從非結構化文本中自動識別和提取特定信息的技術，將非結構化數據轉為結構化知識。

信息檢索是一個計算機科學領域，旨在從大規模的資料集合中精準查找符合用戶需求的相關信息。它是搜索引擎、推薦系統和知識管理的核心技術。

倒數排名融合是一種無需依賴絕對分數的結果融合技術。它透過計算文件在多個獨立檢索系統中排名的倒數並進行加總，藉此產生綜合多方結果的最終排名。

假設性文件嵌入是一種檢索技術，透過語言模型先生成假設解答，再將該解答轉為向量以搜尋真實文件。

透過自動化演算法從多語言文本中萃取或合成的高語義相似度句子對集合，主要用於緩解跨語言任務中的資料稀缺問題。

僅解碼器模型是一種專注於自迴歸生成的架構，透過預測下一個詞彙來產生連續文本，為現代語言模型的核心。

在特定子任務上直接評估模型或表示的質量，如詞向量的類比任務，不涉及下游應用。

內容生成是指使用人工智慧技術自動創建文字、圖像、音訊或影片等內容的過程，旨在降低內容創作成本並提高效率。

內容過濾推薦是一種推薦系統方法，它基於用戶過去互動過的項目內容特徵，向用戶推薦相似的項目。它分析項目描述，並匹配用戶偏好。

透過全局詞共現統計學習詞向量，將詞對共現頻次分解為兩個向量的內積。

將不同模態資料映射到同一向量空間，使它們可相互比較與理解。

自動識別文本中指稱相同實體的不同表達式（如代詞、定指表達式），並將其分組聚集的任務。

共指解析是自然語言處理中的一項任務，旨在識別文本中指向同一個實體的不同提及（mentions），例如代詞、名詞短語等。

統計語料中詞對同時出現的頻次形成的矩陣，是許多詞向量和 NLP 方法的基礎。

函數呼叫是一種允許大型語言模型（LLM）調用外部函數或API的能力，以擴展其功能並與外部世界互動。

分塊處理是指將大型資料集或文本分割成更小、更易於管理的部分，以便於模型處理和分析，提升效率。

分詞是自然語言處理（NLP）中的基礎步驟，旨在將連續的文本序列拆解成更小的、具有語義意義的單元，例如詞彙、子詞或字符，這些單元稱為 tokens。

將文本分割成詞元（tokens）的工具，詞元可以是詞、子詞或字符，是 NLP 模型的輸入預處理步驟。

前綴調整法是一種參數高效的微調技術，通過在輸入序列前添加可訓練的前綴向量，來引導預訓練模型生成期望的輸出，同時保持原始模型參數凍結。

將整個句子編碼為固定維度的向量，使語義相似的句子在向量空間中距離較近。

從非結構化文字中自動識別並分類人名、地名、組織名等具體命名實體的 NLP 技術。

命名實體辨識是自然語言處理的核心技術之一，它能自動從非結構化文本中識別出具有特定類別意義的實體，例如人名、地名、組織機構、日期等，並進行分類標註。

問答系統是一種利用電腦程式自動回答人類提出的問題的技術，旨在提供快速、精確的資訊檢索和知識獲取。

因果語言模型是一種語言模型，它基於序列中先前詞彙預測下一個詞彙，並明確建模詞彙之間的因果關係，以提升生成文本的連貫性和可控性。

困惑度衡量語言模型預測文本序列的能力，數值越低代表模型預測能力越好，對文本的理解程度越高。

圖像轉文字生成是一種將視覺資訊轉換為自然語言描述的技術，使電腦能夠理解並用文字表達圖片內容。

圖檢索增強（Graph RAG）利用知識圖譜結構化信息，提升檢索效率和答案準確性，優於傳統向量檢索。

基礎模型是使用大量未標記數據訓練的大型模型，可適應多種下游任務，展現出強大的泛化能力和遷移學習能力。

多模態學習是一種機器學習方法，旨在從多種不同類型（模態）的資料中學習，例如圖像、文字和音訊，以提升模型效能。

多跳推理是指需要通過多個推理步驟才能得出結論的推理過程，模擬人類複雜的思考方式。

大型語言模型是以大量文字訓練的超大 Transformer 模型，擅長理解並生成自然語言

AI安全護欄是用於限制AI系統行為，確保其符合預期規範和倫理標準的機制，防止產生有害或不當的輸出。

完形填空任務是一種語言理解測試，透過移除文本中的部分詞彙，要求模型或人類填補缺失部分，以評估其對上下文的理解能力。

密集圖像描述是一項結合電腦視覺與自然語言處理的技術，旨在偵測影像中的多個感興趣區域，並為每個區域生成對應的文字描述。

實體鏈接是將文本中的實體提及項，連結到知識庫中對應實體的過程，以消除歧義並豐富文本的語義資訊。

專家混合模型是一種機器學習技術，透過結合多個獨立的「專家」模型，針對不同輸入選擇性地激活特定專家，以提升模型整體效能。

對比學習是一種自監督學習方法，通過學習區分相似和不相似的樣本，從而提取資料的有效表示，無需人工標註。

CLIP (Contrastive Language-Image Pre-training) 是一種透過對比學習，將圖像與文字描述連結的模型，能進行零樣本圖像分類，無需針對特定任務重新訓練。

對話式人工智慧是指能透過自然語言與人類進行互動的AI系統，例如聊天機器人或語音助理，旨在提供更自然、直觀的互動體驗。

在對話上下文中進行信息檢索，系統理解多輪對話的意圖和指代，提供上下文感知的搜尋結果。

在多輪對話中自動追蹤和維護對話狀態（如用戶意圖、槽值），支持對話管理和任務完成。

對話系統是一種能與人類進行自然語言互動的AI系統，目標是理解使用者意圖並提供適當的回應，完成特定任務或提供資訊。

層歸一化是一種神經網路正規化技術，它在每個層級對所有神經元的激活值進行歸一化，以加速訓練並提高泛化能力。

嵌入矩陣是深度學習中將離散變數映射為連續稠密向量的權重矩陣，能有效捕捉詞彙或特徵間的語意與結構關聯性。

嵌入表示將離散的文字或類別映射為連續稠密向量，讓模型能捕捉語義相似性並進行數學運算

巢狀欄位是一種資料結構，指一個欄位內部包含其他子欄位，形成階層關係，常用於表示複雜或半結構化資料，提升資料組織與查詢效率。

工具使用能力是指大型語言模型利用外部工具（例如API、資料庫）來擴展其功能，完成更複雜任務的能力。

巴丹瑙注意力允許序列模型在解碼時動態聚焦於相關的輸入特徵，有效克服長序列造成的資訊遺失問題。

常識推理是賦予人工智慧運用人類日常生活基礎知識進行邏輯判斷的能力，使其能對未明言情境做出合理推斷。

使用編碼器-解碼器架構將一個序列轉換為另一個序列，廣泛應用於翻譯、文本摘要等。

Seq2Seq模型是一種將一個序列轉換為另一個序列的深度學習模型，廣泛應用於機器翻譯、文本摘要、語音辨識等任務。

序列建模是深度學習領域處理具時間或順序依賴性資料的技術，旨在理解、預測或生成序列模式。

引文網路是將文獻作為節點、引用關係作為有向邊的圖結構，用於分析學術影響力與知識傳承脈絡。

弱監督學習利用不精確、不完整或帶有雜訊的標籤資料來訓練機器學習模型，降低對大量精確標註資料的依賴。

影像描述生成（Image Captioning）是電腦視覺與自然語言處理的交叉任務，旨在讓模型自動為輸入影像產生自然語言描述，是多模態 AI 的核心應用之一，評估指標常用 BLEU、CIDEr、SPI

循環神經網路是一種具備「記憶」功能的神經網路，其能處理序列資料，並將前一步的輸出回饋至下一步

思維鏈是一種讓大型語言模型逐步推理，而非直接給出答案，以提升複雜問題解答正確率的方法

思維鏈提示是一種Prompt工程技術，透過引導模型逐步推理，提升複雜問題的解答品質與可解釋性。

情感分析是一種自然語言處理技術，用於識別和提取文本中的主觀情感，例如正面、負面或中性情緒，應用於輿情監控、客戶回饋分析等。

意圖分類是自然語言處理中的一項任務，旨在將一段文字（例如使用者查詢）分類到預定義的意圖類別中，以理解使用者的目的。

自動分析自然語言輸入，識別用戶的主要意圖或目標，用於驅動對話系統或任務執行。

憲法式AI原則是一種透過明確的價值觀或「憲法」來引導AI系統行為的方法，旨在確保AI的輸出符合人類的期望和倫理標準。

將句子分解為層級詞組結構，建構樹形解析樹以顯示詞語與詞組的組成與支配關係。

拉普拉斯平滑（Laplace Smoothing）又稱加一平滑，是貝氏統計中避免零機率問題的技術，在計算類別條件機率時，將每個類別的計數加上常數 α（通常為 1），防止訓練集未見過的詞彙或特徵使整個機

拼寫校正是一種自動偵測並修正文本中拼寫錯誤的技術，旨在提高資料品質、增強搜尋精準度與改善使用者體驗。

指代消解是自然語言處理中的一項任務，旨在確定文本中代詞或其他指稱語所指代的先行詞，以理解文本的完整含義。

指令微調是一種利用特定格式指令資料集，微調預訓練語言模型，使其更精確理解並執行人類指令的技術。

當使用者對領域不熟悉、目標模糊時，透過反覆查詢與學習來釐清資訊需求並獲取新知的資訊檢索過程。

推測解碼是一種加速大型語言模型推論速度的技術，透過小型模型預測多個token，再由大型模型驗證，減少計算量。

要求模型跨越字面意義，透過邏輯推演與跨段落分析，推導出未明示結論的進階自然語言處理技術。

推理能力是指AI系統基於已知資訊和規則，進行邏輯推導，得出結論或解決問題的能力。是AI模擬人類智慧的關鍵組成部分。

推論是指利用已訓練好的機器學習模型，對新的、未曾見過的資料進行預測或判斷的過程。是模型部署後的核心環節。

提取式摘要技術從原文中選擇重要句子組成摘要，簡單直接，易於實現，但可能缺乏連貫性，且無法進行語義概括。

提示工程是設計與優化輸入給 AI 模型的指令，以引導模型產生更準確、符合需求的回應

提示詞注入是一種安全漏洞，攻擊者通過惡意設計的提示詞操控大型語言模型的行為，使其忽略或違反原始指令。

摘要生成技術利用AI理解原文，並以新的句子和詞彙生成摘要，更接近人類的摘要方式，但實現難度較高。

將擴散模型的去雜訊生成機制應用於文字序列生成的語言模型，透過迭代精化而非自回歸逐步生成文字。

文字生成3D模型是指利用人工智慧技術，將文字描述轉換為對應的3D模型，實現從文字到視覺化模型的自動生成。

文字生成圖像是一種人工智慧技術，它能根據文字描述自動生成對應的圖像，實現文字內容的視覺化呈現。

文字生成影片是一種人工智慧技術，它能根據文字描述自動生成對應的影片，將文字內容轉化為動態視覺呈現。

文字轉語音 (TTS) 技術將文字轉換為人類可理解的語音。它廣泛應用於輔助工具、語音助手和內容創作等領域。

文字轉語音（TTS）是一種人工智慧技術，能將書面文字精準地轉換為自然流暢且富有表現力的人類語音，廣泛應用於語音助理、有聲書和無障礙輔助等領域。

文本分類是自然語言處理中的一項任務，旨在將文本自動分配到預定義的類別中。它應用廣泛，例如垃圾郵件檢測、情感分析等。

T5 (Text-to-Text Transfer Transformer) 是一種將所有 NLP 任務轉換為文本到文本格式的轉換器模型，簡化了模型訓練和應用。

指引AI模型生成內容的文字指令或問題，是與生成式AI互動的核心方式。

文本摘要是自然語言處理中的一項任務，旨在從一篇或多篇文章中生成簡潔且信息豐富的摘要。分為抽取式和生成式兩種方法。

文本蘊含是判斷一段前提文本是否能邏輯推導出另一段假設文本的自然語言處理任務，廣泛應用於問答系統與事實查核。

將掃描或數位文檔轉換為結構化信息的技術，理解文檔內容、版面和邏輯關係。

分析文本對特定方面或話題的情感態度，而非整體情感，如評論中對產品外觀、性能的分別評價。

Mamba是一種基於選擇機制的序列模型，旨在解決Transformer在長序列建模上的效率瓶頸，透過硬體感知演算法提升運算速度。

本體論是明確指定領域概念及其關係的正式表示，用於知識共享和推理，是知識圖譜的基礎。

查詢擴展是信息檢索中的一種技術，通過添加同義詞、相關詞或變體詞到原始查詢中，提高檢索的回召率和搜索結果的相關性。

查詢重寫是將使用者原始輸入轉換為更精確檢索字串的技術，能解決詞彙不匹配問題，提升搜尋結果準確度。

梯度爆炸是指在深度學習模型訓練中，梯度在反向傳播時變得異常巨大，導致權重更新過大，模型訓練不穩定甚至崩潰。

槽位填充是自然語言理解中的一項任務，旨在從文本中提取特定資訊，並將其填入預定義的槽位中，以形成結構化資料。

標註者一致性衡量多位標註者在相同資料上標註結果的相似程度。高一致性代表標註品質良好，反之則可能需要重新評估標註規範。

識別並映射不同資料源之間語義等效的資料元素，以實現資料整合與互通。

樸素貝氏分類器是一種基於貝氏定理的簡單機率分類器。它假設所有特徵之間相互獨立，簡化了計算複雜度，因此得名「樸素」。常用於文本分類等任務。

機器翻譯是利用電腦程式自動將文字或語音從一種語言轉換成另一種語言的技術，旨在打破語言障礙，促進跨文化交流。

讓電腦系統具備閱讀人類語言文本並回答相關問題能力的自然語言處理技術。

檢索增強微調結合了檢索式和生成式模型的優勢，透過檢索相關資訊來增強微調過程，提升模型在特定任務上的效能。

RAG（檢索增強生成）讓 AI 回答問題前先查詢外部知識庫，再結合查到的資料生成答案，大幅減少幻覺、提升回答準確性。

次詞單元化是將單詞拆分為更小的子單元（次詞）的技術，用於解決詞彙量過大和未登錄詞（OOV）問題，提升模型泛化能力。

段落排序是一種信息檢索技術，不是返回整個文檔，而是返回包含相關信息的最相關段落。它提高了搜索結果的精確性和用戶體驗。

WaveNet是一種深度生成模型，直接對原始音訊波形進行建模，能夠生成高品質的語音和音樂，並在語音合成領域取得了顯著的成果。

注意力可視化是一種技術，用於呈現神經網路模型在處理輸入時，將注意力集中在哪些部分。它能幫助理解模型決策過程，並診斷潛在問題。

注意力圖是注意力機制的內部權重視覺化表示，呈現模型在處理序列資料時，各個元素之間的相互關注程度與依賴關係。

注意力機制讓神經網路在處理序列資料時，動態分配不同位置的關注權重，提升長距離依賴的捕捉能力

深度混合是一種模型架構，它結合了多個不同深度的子網路，以提升模型的表達能力和泛化能力，並允許模型根據輸入動態調整其深度。

混合搜尋結合了多種搜尋技術，例如關鍵字搜尋和語義搜尋，以提高搜尋結果的相關性和準確性，提供更全面的資訊。

測試時運算是指在模型部署後，進行推論時所使用的運算資源。目標是在效能和延遲之間取得平衡，以滿足實際應用需求。

湧現能力是指大型語言模型在達到一定規模後，突然展現出在較小模型中未曾觀察到的複雜能力，例如推理、翻譯和程式碼生成。

環狀注意力是一種分散式注意力機制，將注意力計算分散到多個設備上，減少單一設備的記憶體需求，適用於超大型模型。

GPT是一種基於Transformer架構的大型語言模型，透過預訓練學習大量文本資料，用於生成文本、翻譯語言、回答問題等。

OpenAI 的自回歸語言模型，一個字接一個字生成文本，只使用 Decoder 架構

直接偏好優化（DPO）是一種直接利用人類偏好資料，優化語言模型，無需訓練獎勵模型的強化學習替代方案。

知識圖譜（Knowledge Graph）是以圖結構儲存實體（Entity）及其關係（Relation）的語意知識庫，透過「主體—關係—客體」三元組表示現實世界的知識，廣泛應用於搜尋引擎增強、問答系統

知識庫是儲存結構化和非結構化知識的中央儲存庫，用於支援決策、自動化任務和提供資訊。

基於結構化知識庫回答使用者問題的系統，能精準檢索並進行多跳邏輯推理。

使用深度神經網路進行端到端機器翻譯的技術，相比傳統統計方法質量顯著提升。

視覺問答（VQA）是一種人工智慧任務，要求模型根據給定的圖像回答自然語言問題，結合了電腦視覺和自然語言處理。

視覺敘事指利用連續圖像或影片傳達故事的技術。在多模態AI中，模型能將文本轉化為具連貫情節的視覺序列。

結合電腦視覺與自然語言處理的跨學科領域，使人工智慧系統能夠同時理解、對齊並處理影像與文字資訊。

視覺語言模型結合電腦視覺與自然語言處理，使機器能理解並生成圖像與文字之間的關聯，應用廣泛，例如圖像描述生成和視覺問答。

稀疏檢索是一種資訊檢索方法，它使用稀疏向量來表示查詢和文檔，向量中的非零元素通常表示詞彙的存在或重要性。

稀疏注意力機制是一種減少注意力機制計算複雜度的技術，透過只關注輸入序列中的部分元素，降低運算量，提升模型效率。

稀疏變換器是一種深度學習架構，透過限制注意力機制的計算範圍降低複雜度，使其能高效處理長序列資料。

程式化標註是一種利用程式碼（例如，規則、啟發式方法或外部知識庫）自動生成訓練資料標籤的技術，以加速模型開發。

Copilot 是一個 AI 程式碼助手，透過分析程式碼上下文，提供程式碼建議、自動完成和程式碼生成，提升開發效率。

程式碼生成是指利用人工智慧模型，自動產生程式碼片段或完整程式的技術，旨在提高開發效率並降低編碼錯誤。

使用深度學習模型進行端到端訓練的文段檢索方法，將查詢和文段都編碼為密集向量，通過向量相似度進行匹配。

稠密檢索模型使用神經網路將查詢和文檔嵌入到一個低維向量空間中，通過計算向量相似度來檢索相關文檔，克服了傳統方法的詞彙不匹配問題。

符號推理是人工智慧中一種透過符號表示知識，並運用邏輯規則進行推論的方法，旨在模擬人類的理性思考過程。

符記是大型語言模型處理文字時，不可分割的最小單位，它可以是一個字、詞，或者更小的子詞

研究超越句子層級的文本結構、連貫性與邏輯關係的語言分析方法。

系統提示詞是用於引導大型語言模型行為的初始指令，影響模型的回應風格、知識範圍和任務執行方式。

網路釣魚偵測是利用AI技術識別並阻止網路釣魚攻擊的過程，旨在保護用戶免受詐騙、身份盜竊和財務損失。

編碼器將輸入資料轉換為固定長度的向量表示，提取其語義特徵，以供解碼器或下游任務使用。

透過計算查詢與鍵的點積並進行縮放，以決定序列中特徵間的關聯權重，是提取上下文資訊的關鍵深度學習機制。

語言模型處理序列時用於表示遮蔽或缺失位置的特殊符號，常見於遮罩語言模型訓練與填空推論任務。

LlamaIndex是一個資料框架，用於連接大型語言模型（LLMs）與您的私有或特定領域的資料，簡化建立基於LLM的應用程式。

LLaMA（Large Language Model Meta AI）是 Meta 開發的開放權重（open-weight）大型語言模型系列，可免費下載、修改、自行部署，採 Meta 自訂 community license 授權，非 OSI 認證開源。

聊天機器人是一種能模擬人類對話的電腦程式，透過文字或語音與使用者互動，提供資訊、協助解決問題或執行特定任務。

臨床自然語言處理 (Clinical NLP) 是一種利用自然語言處理技術，從醫療文本中提取、分析和理解資訊的AI應用，旨在改善醫療照護品質和效率。

AI中的「自」機制涵蓋自監督學習、自我注意力與自我對弈，強調模型利用自身資訊或內部關聯進行學習。

自注意力是一種機制，讓序列中的每個元素計算彼此關聯度，藉此捕捉序列內部的依賴關係

深度學習中根據序列內不同位置的相關性動態分配權重的機制，通過計算查詢（Query）、鍵（Key）、值（Value）的交互，使模型能關注序列中任意位置的信息，無視距離限制。

自然語言推論是判斷前提句子是否能邏輯推導出假設句子的技術，協助機器理解語言的深層語意關係。

自然語言理解（NLU）是人工智慧的一個分支，旨在使電腦能夠理解和解釋人類語言的含義，從而執行相關任務。

自然語言生成（NLG）是將結構化資料轉換為人類可理解的自然語言文本的AI技術，廣泛應用於報告生成、聊天機器人等。

自然語言處理使電腦能理解、分析和生成人類語言，是 AI 語音助理與翻譯等應用的核心技術

將強化學習技術應用於自然語言處理任務中，透過獎勵機制優化文本生成的序列決策過程。

解碼器是神經網路的一部分，負責將編碼器產生的抽象向量表示，轉換成人類可理解的目標輸出，如文字、圖片或語音。

深度學習模型架構設計，僅使用解碼器（Decoder）層進行文本生成和處理，無需編碼器，通過因果遮蔽使模型只能關注當前位置的歷史信息，實現自迴歸文本生成。

詞向量（Word2Vec）是一種將詞語轉換為數字向量的技術，其核心概念是讓語意相近的詞彙在向量空間中的距離更接近

將詞彙映射到連續向量空間的技術，使語義相似的詞在向量空間中距離相近，是自然語言處理的基礎表示學習方法。

詞幹提取是自然語言處理中將單詞簡化為其詞幹或詞根形式的過程，通常通過刪除後綴來實現。

詞形還原是自然語言處理中將單詞還原為其基本形式（詞元）的過程，考慮了單詞的語法和上下文。

詞性標注是自然語言處理中，為句子中的每個詞彙指定詞性的過程，例如名詞、動詞、形容詞等，是後續語法分析的基礎。

詞義消歧（WSD）是自然語言處理中的一項任務，旨在確定一個詞在特定上下文中的正確含義，因為許多詞具有多重含義。

詞袋模型是一種簡化文本表示的方法，忽略詞語的順序和語法結構，僅統計每個詞語在文本中出現的次數，形成詞頻向量。

TF-IDF 是信息檢索和文本挖掘中的經典特徵提取方法。它通過計算詞的局部重要性（TF）和全局重要性（IDF）的乘積，評估詞在文檔中的相關性。

SentencePiece 是一種獨立於語言的分詞器，它將輸入視為 Unicode 字符序列，並使用 BPE 或 Unigram 算法生成詞彙表。

將文字或概念轉換為連續向量空間中數值表示的技術，讓機器能理解並比較資料間的深層意義關聯與相似度。

Semantic Kernel是一個輕量級的開源SDK，使您可以將大型語言模型（LLMs）與傳統程式語言（如C#、Python）整合，建立AI應用。

語意解析是將自然語言文本轉換為機器可讀的邏輯形式或結構化表示的方法，使電腦能精確理解人類意圖。

語料庫是大量結構化的文本集合，用於語言研究和自然語言處理，提供真實語言使用的範例，用於訓練和評估模型。

研究語言在具體交流上下文中的使用方式與使用者意圖的語言學分支。

語義分析旨在理解文本的真實含義，超越字面解釋，提取句子或段落的深層語義結構和關係，賦予機器理解語言的能力。

語義搜尋是一種理解使用者搜尋意圖和上下文的搜尋技術，超越了關鍵字匹配，旨在提供更相關和精確的搜尋結果。

自然語言處理系統能夠理解文字背後的含義與上下文關係的能力。

語義空間是將詞彙、句子或文件轉換為多維連續向量的數學模型，使電腦能計算語言的意義相似度與深層關聯。

自動識別句子中的謂詞與其論元，並為每個論元標注其語義角色（如施事者、受事者、地點）。

語者分段旨在識別音訊中不同語者的發言時間段，並將其區分開來，無需事先知道語者身份。

透過統計或神經網路方法，學習文字序列的機率分布，用於預測下一個詞或評估句子合理性的模型。

語言模型是一種機器學習模型，用於預測給定文本序列中下一個詞彙或字符的概率分佈，是自然語言處理的基礎。

在AI中，「語言」專指機器對人類自然語言的理解與生成能力，是實現人機順暢溝通與通用人工智慧的關鍵技術橋樑。

語音助理是一種使用語音辨識、自然語言處理等技術，讓人們透過語音指令與設備互動的AI系統。

Whisper 是 OpenAI 開發的語音辨識系統，能將語音轉換為文字，支援多種語言，並具備良好的抗噪能力和翻譯功能。

一種最佳化技術，用於在訓練模型時高效選擇負例，尤其在推薦系統和NLP中。

貪婪解碼是一種序列生成方法，在每個時間步選擇概率最高的詞作為輸出，直到生成終止符號或達到最大長度。它簡單快速，但可能陷入局部最佳解。

資料標註是指為原始資料添加標籤的過程，這些標籤提供關於資料的額外資訊，用於訓練監督式機器學習模型。

資料標註是為資料集添加標籤或註解的過程，使機器學習模型能夠理解和學習這些資料，是模型訓練的基礎。

從大規模資料庫中快速且精準地找出與使用者查詢高度相關的資訊或文件的核心技術。

PaLM (Pathways Language Model) 是 Google 開發的大型語言模型，以其卓越的推理能力和多語言處理能力著稱。

長短期記憶網路（LSTM）的關鍵元件，通過 sigmoid 激活函數產生 0-1 之間的門控信號，動態控制有多少當前輸入信息應被添加到細胞狀態，實現選擇性的信息流控制。

長短期記憶網路（LSTM）的門控機制之一，通過 sigmoid 激活函數產生 0-1 的信號，決定細胞狀態中有多少信息應被輸出至隱藏狀態，控制網路對外部環境的信息交互程度。

完全基於 Attention 機制的架構，不用 RNN 的循環結構，能平行處理整個序列

迭代反向翻譯是一種自然語言處理技術，透過將目標語言翻譯回來源語言生成合成平行語料，並反覆交替訓練正反向模型以提升翻譯品質。

逆向文件頻率（IDF）是一種評估詞彙重要性的統計指標，用於降低常見詞彙權重並突顯罕見關鍵字。

Word2Vec 中根據上下文詞預測目標詞的神經網路架構，是 CBOW 的完整名稱。

具有時序記憶能力的神經網路，透過隱藏狀態將過去的資訊傳遞至當前時步。

適配器模組是一種輕量級的模型微調方法，透過在預訓練模型中插入少量可訓練參數，以適應特定任務，同時保持原始模型參數凍結。

遮蔽語言模型（MLM）是一種自監督學習方法，隨機遮蔽輸入文本的部分詞語，並訓練模型預測這些被遮蔽的詞語。

長短期記憶網路（LSTM）的核心門機制，通過 sigmoid 激活函數產生 0-1 的控制信號，決定上一時步細胞狀態中有多少信息應被遺棄或保留，是解決梯度消失問題的關鍵元件。

邏輯形式生成是將自然語言轉換為結構化、機器可讀且無歧義表達式的過程，為語意分析的核心。

醫療 NLP 是指應用自然語言處理技術於醫療文本的技術，如電子病歷、臨床筆記、病理報告等。它能自動提取關鍵醫療信息、識別臨床事件、輔助診斷和生成臨床決策支持。

重排序模型是一種在初步檢索後，對候選結果進行重新排序的技術，旨在提升檢索結果的相關性和準確性，通常使用更複雜的模型。

QLoRA是LoRA的改進版，使用4位量化技術壓縮預訓練模型，進一步降低記憶體需求，實現在消費級硬體上微調大型模型。

金融情緒分析利用自然語言處理技術，分析新聞、社群媒體等文本數據，提取市場情緒，用於預測股價、風險管理和交易策略。

指時序資料裡跨度極大的長程關聯性，或資料集中呈現數量極少但種類繁多的極端不平衡長尾樣本分佈現象。

長短期記憶網路是一種改良的循環神經網路，透過門控機制來克服傳統 RNN 在長序列中容易遺忘的缺陷

一種具有門控機制的循環神經網路變體，透過遺忘門、輸入門和輸出門有效解決傳統 RNN 的梯度消失問題，能捕捉長距離序列依存關係。

長距離依賴指資料序列中相距遙遠元素的關聯。捕捉此關聯是模型理解長篇上下文的核心。

閃電注意力機制是一種優化注意力計算的技術，透過重新排序計算步驟和利用硬體加速，大幅提升注意力計算的速度和記憶體效率。

閘控循環單元（GRU）是一種循環神經網路（RNN）的變體，旨在解決傳統RNN的梯度消失問題，更有效地捕捉長期依賴關係。

關係抽取旨在自動識別文本中實體之間的語義關係，例如「出生於」或「工作於」，是知識圖譜構建的關鍵技術。

隨機遮蔽是隱藏部分資料的自監督技術，迫使模型從剩餘資訊推斷缺失內容，以提升特徵提取與泛化能力。

隱藏狀態是神經網路中用於儲存與傳遞歷史資訊的內部記憶向量，負責在處理序列資料時保留上下文特徵，協助模型理解時序依賴關係。

集束搜尋是一種啟發式搜尋演算法，用於序列預測任務，它在每個時間步保留多個最有可能的候選序列（集束），而非僅僅選擇最佳選項。

能同時處理序列的前向和後向上下文，在每個位置都能看到完整序列信息的神經網路編碼器，相比單向模型提供更豐富的上下文表示，是 BERT 等預訓練模型的核心。

BERT是一種基於Transformer架構的雙向編碼器模型，用於理解文本的語義和上下文，廣泛應用於自然語言理解任務。

雙向語境是同時參考目標元素前後文資訊的技術，能大幅提升模型對整體脈絡與語意的理解精準度。

雙語評估替代指標（BLEU，Bilingual Evaluation Understudy）是機器翻譯品質評估的自動化量化指標，透過比對機器翻譯輸出與人工參考譯文中 n-gram 的重疊程度，給出 0

非結構化資料是指沒有預定義格式或組織方式的資料，難以直接儲存和分析，例如文字、圖像、音訊和影片。

頻率計數是計算特定事件、特徵或字詞在數據集中出現次數的統計方法，為資料分析與機器學習提供基礎特徵。

一種統計假設，主張系統在給定當前狀態下，未來的演變與過去歷史狀態相互獨立，即未來只取決於現在。