神經網路 術語大全
標籤是「神經網路」的術語共 219 個，其中 iPAS 初級術語 1 個、中級術語 9 個，點術語看白話定義、例子與考點。
iPAS 級別
- 3D高斯分佈溅射 3D Gaussian Splatting 用3D高斯分佈代表場景幾何，通過可微分光柵化實現高速3D重建和新視角合成。
- 三元組抽取 Triple Extraction 三元組抽取是從文本中提取（主語，謂語，賓語）三元組的過程，是構建知識圖譜的基礎，也是關係抽取的一種形式。
- 元學習 Meta-learning 元學習，又稱學習如何學習，旨在訓練模型能夠快速適應新任務或環境，透過少量樣本即可達到良好的效能。
- 內積運算 Inner Product 內積是計算兩向量相似度與投影關係的數學運算。在機器學習中用於衡量特徵相關性，為神經網路的核心基礎。
- 分子動力學預測 Molecular Dynamics Prediction 分子動力學預測結合人工智慧與物理模型，以計算模擬原子與分子系統的運動軌跡，大幅加速新藥開發與材料發現。
- 分子圖 Molecular Graphs 分子圖將化學分子抽象為圖形，以節點代表原子、邊緣代表化學鍵，是機器學習處理分子結構的核心格式。
- 分組查詢注意力 Grouped Query Attention 一種高效的注意力機制，將多個查詢頭共享同一組鍵值頭，減少模型參數和記憶體消耗，同時保持性能不下降。
- 分散式訓練 Distributed Training 分散式訓練利用多個計算節點，將模型訓練任務分割並行處理，加速大型模型訓練，提升效率。
- 巴丹瑙注意力 Bahdanau Attention 巴丹瑙注意力允許序列模型在解碼時動態聚焦於相關的輸入特徵，有效克服長序列造成的資訊遺失問題。
- 文本分類 Text Classification 文本分類是自然語言處理中的一項任務，旨在將文本自動分配到預定義的類別中。它應用廣泛，例如垃圾郵件檢測、情感分析等。
- 文本到文本 T5 T5 (Text-to-Text Transfer Transformer) 是一種將所有 NLP 任務轉換為文本到文本格式的轉換器模型，簡化了模型訓練和應用。
- 文本摘要 Text Summarization 文本摘要是自然語言處理中的一項任務，旨在從一篇或多篇文章中生成簡潔且信息豐富的摘要。分為抽取式和生成式兩種方法。
- 文字生成3D模型 Text-to-3D 文字生成3D模型是指利用人工智慧技術，將文字描述轉換為對應的3D模型，實現從文字到視覺化模型的自動生成。
- 文字生成音訊 Text-to-Audio 文字生成音訊（Text-to-Audio）是把一段文字描述直接轉成聲音的生成式 AI 技術，產出的是音樂、音效或環境音，不是唸稿的人聲。它跟文字轉語音（Text-to-Speech）最大的差別，在於生成的是整個聲音場景，還是單純的說話聲。
- 文字生成圖像 Text-to-Image 文字生成圖像是一種人工智慧技術，它能根據文字描述自動生成對應的圖像，實現文字內容的視覺化呈現。
- 文字生成影片 Text-to-Video 文字生成影片是一種人工智慧技術，它能根據文字描述自動生成對應的影片，將文字內容轉化為動態視覺呈現。
- 文字轉語音 Text-to-Speech 文字轉語音 (TTS) 技術將文字轉換為人類可理解的語音。它廣泛應用於輔助工具、語音助手和內容創作等領域。
- 方面級情感分析 Aspect-based Sentiment Analysis 分析文本對特定方面或話題的情感態度，而非整體情感，如評論中對產品外觀、性能的分別評價。
- 代價函數 Cost Function 代價函數是所有訓練樣本損失函數的平均值，用於評估模型在整個訓練集上的表現，並作為優化算法的目標。
- 加速區域卷積網路 Faster R-CNN Faster R-CNN是一種物件偵測演算法，它使用區域建議網路(RPN)來生成候選區域，並使用卷積神經網路(CNN)對這些區域進行分類和邊界框回歸。
- 去噪擴散機率模型 Denoising Diffusion Probabilistic Model 去噪擴散機率模型（DDPM）是一種生成模型，通過逐步添加高斯噪聲破壞資料，然後學習逆向過程，從噪聲中重建資料，實現高品質的資料生成。
- 瓦瑟施泰因生成對抗網路 Wasserstein GAN 使用瓦瑟施泰因距離作為損失函數的 GAN 變體，提供更穩定的梯度信號，減輕訓練不穩定性和模式崩潰問題。
- 生成對抗網路 Generative Adversarial Network 生成對抗網路是一種透過生成器與鑑別器互相對抗學習，最終使生成器能產出逼真資料的深度學習模型
- 目標定位 Grounding 在圖像中定位自然語言描述的物體，通過將文本表達與圖像中的視覺區域進行對應，實現視覺語言理解。
- 交叉熵損失 Cross-entropy 交叉熵損失是一種衡量兩個機率分佈之間差異的損失函數，常用於分類任務中評估模型預測結果與真實標籤的差距。
- 全規約演算法 All-Reduce 一種在分散式系統中進行資料聚合與同步的通訊操作，確保所有計算節點最終獲得完全相同的整合結果。
- 全連接層 Fully Connected Layer 神經網路中每個神經元都與前一層所有神經元相連的層級，每條連接都有獨立的可學習權重，能進行高度非線性的特徵轉換，常用於網路最後階段進行分類或迴歸。
- 全景特徵金字塔 Panoptic FPN 一種整合實例分割與語義分割的神經網路架構，透過特徵金字塔網路同時處理前景物件與背景環境的高效模型。
- 因果語言模型 Causal Language Model 因果語言模型是一種語言模型，它基於序列中先前詞彙預測下一個詞彙，並明確建模詞彙之間的因果關係，以提升生成文本的連貫性和可控性。
- 多任務學習 Multi-task Learning 多任務學習是一種機器學習方法，旨在同時訓練一個模型來執行多個相關任務，以提升模型的泛化能力和效率。
- 羊駝語言模型 LLaMA LLaMA（Large Language Model Meta AI）是 Meta 開發的開放權重（open-weight）大型語言模型系列，可免費下載、修改、自行部署，採 Meta 自訂 community license 授權，非 OSI 認證開源。
- 自我對弈 Self-play 自我對弈是一種強化學習技術，其中智能體與自身的副本進行對弈，從而學習和改進策略，無需外部人類或標記數據。
- 自注意力 Self-Attention 自注意力是一種機制，讓序列中的每個元素計算彼此關聯度，藉此捕捉序列內部的依賴關係
- 自注意力機制 Self-Attention Mechanism 深度學習中根據序列內不同位置的相關性動態分配權重的機制，通過計算查詢（Query）、鍵（Key）、值（Value）的交互，使模型能關注序列中任意位置的信息，無視距離限制。
- 自適應梯度 AdaGrad 根據過去梯度的平方和自動調整各參數學習率的最佳化演算法，使高頻參數學習率較小，低頻參數學習率較大。
- 自機制與注意力 Self AI中的「自」機制涵蓋自監督學習、自我注意力與自我對弈，強調模型利用自身資訊或內部關聯進行學習。
- 位置編碼 Positional Encoding 位置編碼是一種將序列中單詞或符號的位置資訊嵌入到向量表示中的技術，使模型能感知序列順序。
- 你只看一次 YOLO YOLO (You Only Look Once) 是一種即時物件偵測演算法，它將物件偵測視為一個迴歸問題，直接從完整圖像預測邊界框和類別機率。
- 均方根傳播 RMSProp 使用梯度平方的指數加權移動平均調整學習率的最佳化演算法，改進了 AdaGrad 學習率單調遞減的問題。
- 序列到序列模型 Seq2Seq Seq2Seq模型是一種將一個序列轉換為另一個序列的深度學習模型，廣泛應用於機器翻譯、文本摘要、語音辨識等任務。
- 序列建模 Sequence Modeling 序列建模是深度學習領域處理具時間或順序依賴性資料的技術，旨在理解、預測或生成序列模式。
- 序列異常偵測 Sequential Anomaly Detection 序列異常偵測是一種從具有時間或先後順序的資料中，找出不符合預期模式或異常行為的分析技術。
- 批次正規化 Batch Normalization 批次正規化是一種標準化技巧，針對每層網路的輸入進行調整，使訓練過程更穩定，並允許使用較大的學習率
- 卷積神經網路 Convolutional Neural Network 專門處理圖像的神經網路，用小窗口（卷積核）掃過圖片提取局部特徵，參數共享大幅減少計算量
- 卷積運算 Convolution Operation 卷積運算是提取特徵的數學操作，透過濾波器在資料上滑動捕捉邊緣與紋理，廣泛應用於電腦視覺領域。
- 卷積層 Convolutional Layer 神經網路中利用卷積運算自動提取局部特徵的層級，通過多個小尺寸濾波器滑動掃描輸入數據，能有效減少參數數量並增強空間特徵學習能力。
- 放射醫學AI Radiology AI 放射醫學AI利用人工智慧技術分析醫學影像，輔助醫生診斷疾病，提高診斷效率和準確性，並減少人為錯誤。
- 注意力可視化 Attention Visualization 注意力可視化是一種技術，用於呈現神經網路模型在處理輸入時，將注意力集中在哪些部分。它能幫助理解模型決策過程，並診斷潛在問題。
- 注意力崩潰 Attention Collapse 注意力崩潰指深度神經網路的注意力權重趨向一致，導致模型無法有效區分輸入特徵的現象。
- 注意力圖 Attention Map 注意力圖是注意力機制的內部權重視覺化表示，呈現模型在處理序列資料時，各個元素之間的相互關注程度與依賴關係。
- 注意力線性偏置 ALiBi 一種相對位置編碼方法，通過在注意力分數中添加位置相關的線性偏置項，實現相對位置編碼且具有優秀的外推性能。
- 注意力機制 Attention Mechanism 注意力機制讓神經網路在處理序列資料時，動態分配不同位置的關注權重，提升長距離依賴的捕捉能力
- 物件偵測 Object Detection 物件偵測是一種電腦視覺技術，用於識別影像或影片中特定物件的位置和類別，常用於自動駕駛、安全監控、零售分析等。
- 物理資訊神經網路 Physics-informed Neural Networks 結合物理定律與神經網路的機器學習模型，用於求解偏微分方程，無需大量標籤數據。
- 長上下文 Long Context 指大型語言模型能夠處理和理解更長输入序列的能力，通常指支援數千到數百萬個 token 的上下文窗口。
- 長短期記憶網路 Long Short-Term Memory 長短期記憶網路是一種改良的循環神經網路，透過門控機制來克服傳統 RNN 在長序列中容易遺忘的缺陷
- 長距離依賴 Long-range Dependency 長距離依賴指資料序列中相距遙遠元素的關聯。捕捉此關聯是模型理解長篇上下文的核心。
- 前饋神經網路 Feedforward Neural Network 前饋神經網路是一種訊息單向傳播的神經網路，由輸入層、隱藏層和輸出層組成，廣泛應用於分類和迴歸任務。
- 持續學習 Continual Learning 持續學習旨在使AI模型能夠在不遺忘先前知識的情況下，逐步學習新的任務和資料，模擬人類終身學習的能力。
- 重排序模型 Reranking 重排序模型是一種在初步檢索後，對候選結果進行重新排序的技術，旨在提升檢索結果的相關性和準確性，通常使用更複雜的模型。
- 音樂生成 Music Generation 音樂生成是利用AI模型自動創作音樂，涵蓋旋律、和聲、節奏等多個方面，旨在模擬人類作曲過程。
- 風格轉換 Style Transfer 風格轉換是一種使用人工智慧技術，將一張圖片的風格應用到另一張圖片的內容上的方法，創造出具有新風格的圖像。
- 修正線性單元 Rectified Linear Unit 修正線性單元是一種激活函數，其核心特徵為保留正值並將負值歸零，藉此加速計算並避免梯度消失
- 時序注意力機制 Attention Mechanisms for Time Series 一種深度學習技術，使模型能動態權衡時間序列中不同時間步的重要性，以捕捉長期依賴關係和關鍵模式。
- 消息傳遞神經網路 Message Passing Neural Network 一種統一的圖神經網路框架，將圖學習過程表述為節點間的消息生成、傳遞和聚合。
- 特徵金字塔網路 Feature Pyramid Network 特徵金字塔網路(FPN)是一種用於目標檢測的深度學習架構，旨在從不同尺度的特徵圖中提取豐富的語義信息，以提升小目標的檢測性能。
- 特徵圖 Feature Map 特徵圖是卷積神經網絡中，經過卷積層運算後所產生的多維陣列，用於呈現輸入資料的特定局部特徵與空間結構。
- 病理學AI Pathology AI 病理學AI利用人工智慧分析組織切片影像，輔助病理醫生診斷癌症、感染等疾病，提升診斷效率和客觀性。
- 神經形態運算 Neuromorphic Computing 神經形態運算是一種模擬生物大腦結構的硬體架構，旨在以極低的功耗執行複雜的機器學習與人工智慧運算任務。
- 神經架構搜尋 Neural Architecture Search 神經架構搜尋(NAS)是一種自動化設計神經網路架構的技術，旨在尋找在特定任務上表現最佳的模型結構，無需人工手動設計。
- 神經符號人工智慧 Neuro-symbolic AI 神經符號人工智慧結合了神經網路的學習能力和符號AI的推理能力，旨在克服各自的局限性，實現更強大、更可靠的AI系統。
- 神經輻射場 NeRF (Neural Radiance Field) 利用神經網絡隱式表達3D場景的函數，能從多視角影像重建逼真的3D場景和新視角合成。
- 神經輻射場景 Neural Radiance Fields 神經輻射場景（NeRF）是一種使用神經網路表示3D場景的新穎方法，它通過學習場景的體積密度和顏色來實現逼真的渲染。
- 脈衝神經網路 Spiking Neural Networks 脈衝神經網路屬於第三代人工神經網路，模仿生物大腦透過離散的脈衝訊號進行資訊傳遞，具備極低的功耗與高時間解析度優勢。
- 記憶網路 Memory Networks 具有外部記憶機制的神經網路架構，能夠存儲、檢索和更新信息，支持推理任務。
- 閃電注意力機制 Flash Attention 閃電注意力機制是一種優化注意力計算的技術，透過重新排序計算步驟和利用硬體加速，大幅提升注意力計算的速度和記憶體效率。
- 高效神經架構搜尋 Efficient Neural Architecture Search 高效神經架構搜尋（Efficient NAS）旨在降低NAS的計算成本，通過架構共享、代理模型等技術加速搜尋過程，找到高性能的神經網路架構。
- 高效網路 EfficientNet EfficientNet 是一系列由 Google 開發的卷積神經網路架構，旨在透過複合縮放方法，在準確度和效率之間取得最佳平衡。
- 基於會話推薦 Session-based Recommendation 基於會話推薦利用使用者單次瀏覽會話內的行為序列，預測使用者下一步可能感興趣的項目，無需使用者歷史資料。
- 密集連接網路 DenseNet DenseNet是一種深度學習模型，透過密集連接每一層到所有後續層，最大化層之間的資訊流動，增強特徵重用，減少梯度消失問題。
- 專家混合模型 Mixture of Experts 專家混合模型是一種機器學習技術，透過結合多個獨立的「專家」模型，針對不同輸入選擇性地激活特定專家，以提升模型整體效能。
- 張量處理單元 TPU 張量處理單元（TPU）是Google專為加速機器學習工作負載而設計的客製化硬體加速器，尤其擅長處理張量運算，是深度學習的利器。
- 控制網路 ControlNet ControlNet 是一種神經網路結構，用於控制大型擴散模型，例如 Stable Diffusion，以實現更精確的圖像生成控制，例如基於草圖或邊緣圖生成圖像。
- 推理能力 Reasoning 推理能力是指AI系統基於已知資訊和規則，進行邏輯推導，得出結論或解決問題的能力。是AI模擬人類智慧的關鍵組成部分。
- 啟動圖 Activation Map 啟動圖是卷積神經網路中，輸入資料經過卷積與啟動函數處理後所輸出的多維度特徵矩陣。
- 啟發網路 Inception Network Inception Network 是一種深度卷積神經網路架構，旨在透過並行使用多種卷積核大小，捕捉不同尺度的特徵，提升模型效能。
- 旋轉位置編碼 Rotary Position Embedding 一種位置編碼方法，通過複數旋轉操作將位置信息編碼到注意力機制中，相比絕對位置編碼具有更好的外推性能。
- 曼巴模型 Mamba Mamba是一種基於選擇機制的序列模型，旨在解決Transformer在長序列建模上的效率瓶頸，透過硬體感知演算法提升運算速度。
- 梯度加權類激活圖 Grad-CAM Grad-CAM是一種可視化技術，利用梯度資訊來突出顯示輸入圖像中對模型預測最重要的區域，提供模型決策的可解釋性。
- 梯度同步 Gradient Synchronization 在分散式機器學習中，匯總多個運算節點的梯度以確保模型參數一致更新的過程。
- 梯度消失 Vanishing Gradient 梯度消失是指在深度學習模型訓練中，梯度在反向傳播時逐漸縮小至接近於零，導致淺層網路權重難以更新，模型學習停滯。
- 梯度累積 Gradient Accumulation 多個訓練步驟內累加梯度，最後進行一次參數更新，有效增加批量大小而不增加記憶體占用，用於訓練記憶體受限的大型模型。
- 梯度裁剪 Gradient Clipping 梯度裁剪是一種防止梯度爆炸問題的技術，通過限制梯度的大小，確保訓練過程的穩定性，避免模型參數更新過大。
- 梯度懲罰 Gradient Penalty 梯度懲罰是用於穩定生成對抗網路的正則化技術，透過限制梯度範數以確保模型平滑，能防止模式崩潰。
- 梯度爆炸 Exploding Gradient 梯度爆炸是指在深度學習模型訓練中，梯度在反向傳播時變得異常巨大，導致權重更新過大，模型訓練不穩定甚至崩潰。
- 深度估計 Depth Estimation 從2D影像推斷場景的3D深度資訊，用於3D重建、機器人導航、AR應用和自動駕駛。
- 深度協同過濾 Deep Collaborative Filtering 深度協同過濾結合深度學習與協同過濾，利用神經網路學習使用者和物品的隱藏表示，以提升推薦準確度，尤其在處理複雜互動模式時。
- 深度神經網路 DNN 包含多個隱藏層的人工神經網路，能通過層層特徵抽取學習複雜的非線性表示，是現代深度學習的基礎架構。
- 深度強化學習 Deep Reinforcement Learning 深度強化學習結合深度學習與強化學習，透過深度神經網路學習複雜策略，以在特定環境中最大化累積獎勵。
- 深度混合 Mixture of Depths 深度混合是一種模型架構，它結合了多個不同深度的子網路，以提升模型的表達能力和泛化能力，並允許模型根據輸入動態調整其深度。
- 深度學習 Deep Learning 深度學習是一種機器學習方法，透過多層神經網路自動從原始資料中提取階層特徵，解決複雜問題。
- 深度Q網路 Deep Q-Network 深度Q網路（DQN）是一種結合深度學習與Q學習的強化學習演算法，利用深度神經網路逼近Q函數，解決高維度狀態空間的強化學習問題。
- 混合精度訓練 Mixed Precision Training 混合精度訓練是一種使用不同精度（如 FP16 和 FP32）的浮點數進行模型訓練的技術，旨在加速訓練過程並減少記憶體佔用。
- 視覺變換器 Vision Transformer Vision Transformer (ViT) 是一種將 Transformer 架構應用於圖像識別的深度學習模型，它將圖像分割成小塊，並將其視為序列進行處理。
- 移動網路 MobileNet MobileNet是一種針對移動和嵌入式設備設計的輕量級深度神經網路架構，旨在實現高效的資源利用和快速的推論速度。
- 蛋白質交互作用 Protein-Protein Interaction 指兩個或多個蛋白質分子之間因物理接觸而產生的結合，為細胞功能的基礎。
- 蛋白質結構預測 Protein Structure Prediction 利用人工智慧技術，從蛋白質胺基酸序列推斷其三維結構，對於理解生物功能與藥物開發至關重要。
- 通用人工智慧 Artificial General Intelligence 通用人工智慧（AGI）是指具備與人類同等或超越人類的智慧，能夠理解、學習、適應並在任何智力任務中表現出色的AI系統。
- 通用分割模型 Segment Anything Model Meta提出的大規模基礎模型，能對任意圖像進行實例分割，採用提示工程實現靈活的互動式分割。
- 連續詞袋模型 Continuous Bag of Words Word2Vec 中根據上下文詞預測目標詞的神經網路架構，是 CBOW 的完整名稱。
- 連體神經網路 Siamese Network 連體神經網路是一種包含兩個或多個共享相同權重的相同神經網路的架構，用於比較輸入之間的相似性或關係。
- 單樣本學習 One-shot Learning 單樣本學習是一種機器學習方法，旨在僅使用一個或少數幾個樣本來學習新的類別或概念，模擬人類快速學習的能力。
- 嵌入矩陣 Embedding Matrix 嵌入矩陣是深度學習中將離散變數映射為連續稠密向量的權重矩陣，能有效捕捉詞彙或特徵間的語意與結構關聯性。
- 幾何學與幾何結構 Geometry 指資料在多維空間的拓樸與形狀特徵，幾何深度學習利用此對稱結構處理圖論、流形與點雲等非歐幾里得資料。
- 循環神經網路 Recurrent Neural Network 循環神經網路是一種具備「記憶」功能的神經網路，其能處理序列資料，並將前一步的輸出回饋至下一步
- 殘差網路 ResNet ResNet是一種深度學習模型，透過引入殘差連接解決深度神經網路訓練時的梯度消失問題，允許網路學習殘差映射而非直接映射。
- 稀疏自動編碼器 SAE 一種透過稀疏性約束學習高維資料中可解釋潛在特徵的神經網路架構，近年廣泛應用於語言模型的可解釋性研究。
- 稀疏性約束 Sparsity Constraint 稀疏性約束是一種在機器學習中，強制模型參數或內部表示包含更多零值的正則化技術，以降低運算成本。
- 稀疏注意力機制 Sparse Attention 稀疏注意力機制是一種減少注意力機制計算複雜度的技術，透過只關注輸入序列中的部分元素，降低運算量，提升模型效率。
- 稀疏變換器 Sparse Transformer 稀疏變換器是一種深度學習架構，透過限制注意力機制的計算範圍降低複雜度，使其能高效處理長序列資料。
- 策略梯度 Policy Gradient 策略梯度是一種直接優化策略的強化學習方法，它通過計算策略梯度來更新策略參數，以最大化預期累積獎勵。
- 超解析度重建 Super-resolution 超解析度重建是一種電腦視覺技術，旨在從低解析度影像重建出高解析度影像，提升影像的清晰度和細節。
- 量子化學預測 Quantum Chemistry Prediction 量子化學預測利用機器學習模型預測分子的電子性質與化學反應，有效加速新藥開發與材料科學研究的進程。
- 開放神經網路交換 ONNX ONNX 是一種開放標準，用於表示機器學習模型，允許模型在不同框架之間互操作，簡化模型部署流程。
- 階層式強化學習 Hierarchical RL 階層式強化學習將複雜任務分解為多層次的子任務，透過高低層策略協同運作，解決稀疏獎勵與長期規劃問題。
- 黑箱模型 Black Box Model 黑箱模型是指其內部運作機制對使用者而言不透明的模型，難以理解輸入與輸出之間的具體關係。
- 感知器 Perceptron 感知器是最簡單的神經網路模型，模擬生物神經元，接收輸入、加權求和、通過激活函數輸出，用於二元分類。
- 損失函數 Loss Function 損失函數衡量模型預測與實際值之間的差異，數值越小代表模型預測越準確，是模型訓練中優化目標的關鍵組成部分。
- 滑動窗口注意力 Sliding Window Attention 一種高效的注意力機制，限制每個位置只與一個固定大小的局部上下文窗口內的位置進行注意力計算，減少計算複雜度。
- 稠密文段檢索 Dense Passage Retrieval 使用深度學習模型進行端到端訓練的文段檢索方法，將查詢和文段都編碼為密集向量，通過向量相似度進行匹配。
- 稠密檢索模型 Dense Retrieval 稠密檢索模型使用神經網路將查詢和文檔嵌入到一個低維向量空間中，通過計算向量相似度來檢索相關文檔，克服了傳統方法的詞彙不匹配問題。
- 節點分類 Node Classification 一種圖學習任務，目標是為圖中的節點預測標籤或類別，利用圖結構和節點特徵進行學習。
- 解碼器 Decoder 解碼器是神經網路的一部分，負責將編碼器產生的抽象向量表示，轉換成人類可理解的目標輸出，如文字、圖片或語音。
- 資料並行 Data Parallelism 資料並行是一種分散式訓練方法，將資料分割成多份，分配給多個節點，每個節點使用相同模型副本訓練不同資料子集。
- 跨模態注意力 Cross-modal Attention 融合來自不同模態（文本、圖像、音頻等）資訊的注意力機制，用於多模態深度學習任務。
- 閘控循環單元 Gated Recurrent Unit 閘控循環單元（GRU）是一種循環神經網路（RNN）的變體，旨在解決傳統RNN的梯度消失問題，更有效地捕捉長期依賴關係。
- 預熱訓練 Warmup 預熱訓練是一種在模型訓練初期，逐步提高學習率的策略，旨在穩定訓練過程，避免初期梯度爆炸或震盪。
- 圖分類 Graph Classification 圖分類是將整個圖形結構映射到特定類別的機器學習任務，旨在根據節點、邊及整體拓撲特徵預測圖形的屬性或狀態。
- 圖文對齐 Image-Text Alignment 在多模態學習中，將圖像和文本的表示映射到共同的語義空間，使得語義相關的圖文對的表示相近。
- 圖同構網路 Graph Isomorphism Network 一種 GNN 模型，基於圖同構測試的 Weisfeiler-Lehman 算法設計，具有較強的圖判別能力。
- 圖池化 Graph Pooling 圖池化是一種減少圖形結構資料維度與節點數量的技術，用以提取全域特徵，降低計算成本，在圖神經網路中扮演關鍵的降維角色。
- 圖形處理器 GPU 圖形處理器（GPU）是一種專為並行處理設計的電子電路，最初用於加速圖像渲染，現廣泛應用於深度學習等需要大量計算的領域。
- 圖卷積網路 Graph Convolutional Network 一種 GNN 的具體實現，透過鄰域節點特徵的加權平均來更新每個節點的表示。
- 圖注意力網路 Graph Attention Network 使用注意力機制對圖的鄰域進行聚合的 GNN 模型，能為不同鄰居節點分配不同的權重。
- 圖神經網路 Graph Neural Network 圖神經網路(GNN)是一種用於處理圖結構資料的深度學習模型，能學習節點、邊和圖的表示，並用於節點分類、連結預測和圖分類等任務。
- 圖推薦系統 Recommendation with Graphs 利用圖資料結構模擬使用者與物品間的複雜互動關聯，藉由捕捉高階網路拓樸特徵以提升推薦精準度與多樣性。
- 圖結構生成 Graph Generation 圖結構生成是一種利用機器學習模型自動建立或擴充圖結構資料的技術，旨在模擬真實世界中節點與邊的複雜關聯網路。
- 圖像分類 Image Classification 圖像分類是電腦視覺中的一項任務，旨在將圖像分配到預定義的類別中。模型學習圖像特徵，並基於這些特徵預測圖像所屬的類別。
- 圖像生成 Image Generation 圖像生成是一種人工智慧技術，旨在從文字描述、其他圖像或隨機雜訊中創造出全新的、逼真的或風格化的圖像。
- 圖像識別 Image Recognition 圖像識別是電腦視覺領域的一項任務，旨在識別圖像中的對象、人物、地點或事件。它比圖像分類更廣泛，可能涉及定位和標記圖像中的多個對象。
- 對抗訓練 Adversarial Training 一種透過引入具有對抗特性的數據樣本來強化模型穩健性的機器學習訓練方法，能夠提升模型在面對惡意攻擊或分佈外輸入時的防禦能力。
- 對數損失 Log Loss 對數損失（Log Loss）是交叉熵損失在二元分類問題中的特殊形式，衡量模型預測機率與真實標籤之間的差異，數值越小代表模型表現越好。
- 摘要生成技術 Abstractive Summarization 摘要生成技術利用AI理解原文，並以新的句子和詞彙生成摘要，更接近人類的摘要方式，但實現難度較高。
- 演員-評論家 Actor-Critic 演員-評論家是一種強化學習演算法，結合了策略梯度（演員）和時序差分學習（評論家）的優點，以實現更穩定的學習。
- 語言模型 Language Model 語言模型是一種機器學習模型，用於預測給定文本序列中下一個詞彙或字符的概率分佈，是自然語言處理的基礎。
- 語者分段 Speaker Diarization 語者分段旨在識別音訊中不同語者的發言時間段，並將其區分開來，無需事先知道語者身份。
- 語音合成技術 Speech Synthesis 語音合成技術是一種將文字轉換成人類語音的技術，也稱為文字轉語音（TTS）。它廣泛應用於語音助理、導航系統和輔助科技等領域。
- 語音助理 Voice Assistant 語音助理是一種使用語音辨識、自然語言處理等技術，讓人們透過語音指令與設備互動的AI系統。
- 語音轉錄模型 Whisper Whisper 是 OpenAI 開發的語音辨識系統，能將語音轉換為文字，支援多種語言，並具備良好的抗噪能力和翻譯功能。
- 骰子損失函數 Dice Loss Dice Loss是一種用於衡量兩個樣本之間相似度的損失函數，尤其適用於處理不平衡的資料集，常見於圖像分割任務。
- 寬與深模型 Wide and Deep 結合廣義線性模型與深度神經網路的混合機器學習架構，同時具備記憶歷史特徵組合能力與推廣未見特徵能力的優勢。
- 層歸一化 Layer Normalization 層歸一化是一種神經網路正規化技術，它在每個層級對所有神經元的激活值進行歸一化，以加速訓練並提高泛化能力。
- 影片全景分割 Video Panoptic Segmentation 一種結合語義與實例分割的電腦視覺技術，能對影片中每個像素進行精確的物件類別與個體識別追蹤。
- 影像分割 Image Segmentation 影像分割是一種電腦視覺技術，將影像劃分為多個區域或物件，以便分析或理解影像內容，常用於醫學影像分析、自動駕駛等。
- 模型平行化 Model Parallelism 模型平行化是一種將大型模型分割到多個裝置上進行訓練或推論的技術，以克服單一裝置的記憶體限制。
- 模型剪枝 Pruning 模型剪枝是一種減少模型大小和計算複雜度的技術，透過移除模型中不重要的權重或神經元來實現。
- 模型參數 Parameters 模型參數是機器學習模型在訓練過程中學習到的數值，用於決定模型如何對輸入資料進行轉換和預測。它們是模型的內部變數。
- 模型量化 Quantization 模型量化是一種降低模型大小和加速推論的技術，透過減少模型權重和激活值的精度來實現。
- 模型壓縮 Model Compression 模型壓縮是指減少機器學習模型大小和計算複雜度的技術，以便在資源有限的設備上部署，同時保持模型性能。
- 模擬加速 Simulation Acceleration 模擬加速是一種結合人工智慧與計算科學的技術，用於在保持合理精確度的前提下，大幅縮短複雜系統模擬所需的時間。
- 潛在空間 Latent Space 潛在空間是機器學習模型學習到的高維資料的壓縮表示，它捕捉了資料的底層結構和關係，並將其映射到一個低維空間。
- 潛在擴散模型 Latent Diffusion Model 潛在擴散模型(LDM)是一種生成式AI模型，透過在潛在空間中進行擴散和逆擴散過程，生成高解析度、高品質的圖像或其他資料。
- 線性整流函數 ReLU 線性整流函數（Rectified Linear Unit, ReLU）是深度學習中最常用的激活函數，將負值輸出設為零、正值保持不變，有效解決梯度消失問題並加速神經網路收斂。
- 編碼器 Encoder 編碼器將輸入資料轉換為固定長度的向量表示，提取其語義特徵，以供解碼器或下游任務使用。
- 膠囊網路 Capsule Network 膠囊網路是一種神經網路架構，旨在解決卷積神經網路在處理物件方向和空間關係上的不足，透過膠囊和路由機制，更有效地捕捉物件的層次結構。
- 遮罩區域卷積網路 Mask R-CNN Mask R-CNN是一種深度學習模型，用於物件偵測、實例分割和人體姿勢估計。它擴展了Faster R-CNN，增加了預測每個物件像素級別遮罩的分支。
- 鞍點 Saddle Point 函數曲面上在某方向為局部最大值，在另一方向為局部最小值之點，形似馬鞍。在最佳化中，理解收斂行為的關鍵概念。
- 餘弦退火 Cosine Annealing 學習率沿著餘弦函數曲線逐漸衰減，從初始值平滑降低到最小值，使模型在訓練後期細微調整參數。
- 學習率排程 Learning Rate Scheduling 學習率排程是一種在訓練過程中調整學習率的技術，旨在加速收斂、避免震盪，並提高模型的泛化能力。常見方法包括步階衰減、指數衰減和餘弦退火。
- 學習率預熱 Learning Rate Warmup 訓練初期逐漸增加學習率，避免初始化不佳導致的訓練不穩定，通常在前幾個 epoch 內從 0 線性增加到目標值。
- 學習率調度策略 Learning Rate Schedule 根據訓練進度動態調整學習率的策略，能幫助模型在初期快速收斂，並在後期穩定尋找全域理想解。
- 機制性可解釋性 Mechanistic Interpretability 機制性可解釋性旨在理解AI模型內部運作的具體機制，如同理解程式碼般，而非僅僅觀察輸入輸出關係。
- 激活函數 Activation Function 神經網路中賦予模型非線性表達能力的函數，使深度網路能學習複雜非線性模式。
- 激活值檢查點 Activation Checkpointing 在反向傳播時重新計算隱藏層激活值而非存儲，交換計算時間換取記憶體空間，使訓練更大模型成為可能。
- 輸入門 Input Gate 長短期記憶網路（LSTM）的關鍵元件，通過 sigmoid 激活函數產生 0-1 之間的門控信號，動態控制有多少當前輸入信息應被添加到細胞狀態，實現選擇性的信息流控制。
- 輸出門 Output Gate 長短期記憶網路（LSTM）的門控機制之一，通過 sigmoid 激活函數產生 0-1 的信號，決定細胞狀態中有多少信息應被輸出至隱藏狀態，控制網路對外部環境的信息交互程度。
- 輸出層 Output Layer 神經網路最後一層，根據任務類型選擇合適的激活函數，將隱藏層的高維特徵轉換為最終預測結果（分類概率、迴歸值或其他形式），是模型與外界交互的界面。
- 遺忘門 Forget Gate 長短期記憶網路（LSTM）的核心門機制，通過 sigmoid 激活函數產生 0-1 的控制信號，決定上一時步細胞狀態中有多少信息應被遺棄或保留，是解決梯度消失問題的關鍵元件。
- 隨機失活遮罩 Dropout Masking 隨機失活遮罩在訓練時動態產生隨機二元矩陣，將部分神經元輸出暫時歸零，以打破特徵依賴並防止模型過度擬合。
- 隨機丟棄 Dropout 隨機丟棄是一種訓練技巧，透過隨機關閉部分神經元，避免網路過度依賴單一路徑，提升模型的泛化能力
- 隨機梯度下降 Stochastic Gradient Descent 隨機梯度下降（SGD）是一種迭代優化算法，用於最小化目標函數。它每次迭代僅使用一個或少量樣本計算梯度，加速訓練過程，但可能導致收斂不穩定。
- 環狀注意力 Ring Attention 環狀注意力是一種分散式注意力機制，將注意力計算分散到多個設備上，減少單一設備的記憶體需求，適用於超大型模型。
- 縮放點積注意力 Scaled Dot-Product Attention 透過計算查詢與鍵的點積並進行縮放，以決定序列中特徵間的關聯權重，是提取上下文資訊的關鍵深度學習機制。
- 聲音複製 Voice Cloning 聲音複製是指使用人工智慧技術，基於少量語音樣本，生成與目標人物聲音高度相似的合成語音。
- 聲學建模 Acoustic Modeling 在語音識別、語音合成等任務中，建立音訊特徵與語言單位（音素、詞彙）對應關係的機器學習模型。
- 錨框 Anchor Box 錨框(Anchor Box)是在目標檢測中預先定義的一系列具有不同大小和長寬比的矩形框，用於在圖像中生成候選區域，以便模型進行目標分類和邊界框回歸。
- 隱藏狀態 Hidden State 隱藏狀態是神經網路中用於儲存與傳遞歷史資訊的內部記憶向量，負責在處理序列資料時保留上下文特徵，協助模型理解時序依賴關係。
- 點雲 Point Cloud 三維空間中由大量無序點組成的資料結構，每點含坐標和屬性，用於3D感知、掃描、建模和分析。
- 點擊率預測 Click-through Rate Prediction 點擊率預測旨在預估使用者點擊特定廣告或連結的可能性，是數位廣告和推薦系統的核心技術。
- 轉換器架構 Transformer 完全基於 Attention 機制的架構，不用 RNN 的循環結構，能平行處理整個序列
- 醫療影像分析 Medical Image Analysis 醫療影像分析利用AI技術，自動或半自動地分析醫學影像，輔助醫生進行疾病診斷、病情監測和治療規劃，提高診斷效率和準確性。
- 雙向語境 Bidirectional Context 雙向語境是同時參考目標元素前後文資訊的技術，能大幅提升模型對整體脈絡與語意的理解精準度。
- 雙向編碼器 Bidirectional Encoder 能同時處理序列的前向和後向上下文，在每個位置都能看到完整序列信息的神經網路編碼器，相比單向模型提供更豐富的上下文表示，是 BERT 等預訓練模型的核心。
- 藥物靶點預測 Drug-Target Interaction Prediction 藥物靶點預測是利用機器學習預測候選藥物分子與生物靶點蛋白質之間的結合力，加速新藥研發並降低實驗成本。
- 邊界框偵測 Bounding Box 邊界框偵測是一種電腦視覺技術，用於在影像或影片中定位和識別物體，並使用矩形框標示出物體的位置。
- 邊緣人工智慧 Edge AI 邊緣人工智慧是指在靠近資料來源的邊緣設備上執行AI運算，而非在雲端伺服器上。可降低延遲、節省頻寬、保護隱私。
- 關係抽取 Relation Extraction 關係抽取旨在自動識別文本中實體之間的語義關係，例如「出生於」或「工作於」，是知識圖譜構建的關鍵技術。
- 屬性預測 Property Prediction 屬性預測是指利用機器學習模型，根據物件的特徵或結構資料，預測其物理、化學或行為特性的技術。
- 權重衰減 Weight Decay 「權重衰減」是深度學習正則化技術，透過懲罰過大權重，防止模型過度擬合，提升泛化能力。
- 變分自編碼器 Variational Autoencoder 變分自編碼器（VAE）是一種生成式深度學習模型，它將輸入資料壓縮成潛在空間中的機率分佈，並能從中採樣以生成多樣化且具代表性的新資料樣本。
- AI 訓練模型 Model 透過機器學習演算法在大量數據中學習規律與特徵後，所產生可用於預測、分類或生成的數學結構與參數集合。
- AI藥物發現 Drug Discovery AI AI藥物發現利用人工智慧加速藥物研發流程，從靶點識別、候選藥物篩選、臨床試驗設計到藥物重定位，降低成本並縮短開發週期。
- AutoML遷移學習 Transfer Learning for AutoML AutoML遷移學習利用預訓練模型知識，加速AutoML流程，減少訓練數據需求，提升模型泛化能力，並降低計算成本。
- S 型函數 Sigmoid Function S 型函數能將任何數值壓縮至 0 到 1 之間，常用於二元分類模型，將輸出結果轉換為機率
- Sigmoid 函數 Sigmoid Sigmoid 函數是一種將任意實數壓縮到 (0, 1) 區間的 S 形曲線，公式為 σ(x) = 1/(1+e⁻ˣ)，常作為神經網路的激活函數及邏輯斯迴歸的輸出層，用於將線性輸出轉換為機率值。
- Softmax 函數 Softmax Function Softmax 函數是一種將數值轉換為機率分佈的數學工具，常用於多元分類模型，確保輸出總和為一
- Swin變換器 Swin Transformer Swin Transformer是一種層級式的Transformer模型，用於電腦視覺任務，透過移動視窗機制有效降低計算複雜度，並提升模型效能。
- U型網路 U-Net U-Net是一種用於圖像分割的深度學習模型，其架構呈U型，包含編碼器和解碼器，能有效捕捉圖像的上下文資訊和精確定位分割邊界。
- ZeRO 優化 ZeRO Optimization Microsoft 提出的分布式訓練優化技術，通過將梯度、優化器狀態和模型參數分片存儲在多個 GPU 上，大幅降低記憶體占用，支持訓練超大規模模型。
沒有符合的術語
換個關鍵字，或切回「全部」級別。
其他主題
常見問題
本頁依已發布術語的主題標記，整理 219 個 神經網路 相關概念。
稀疏注意力機制、語音助理、演員-評論家、文字生成3D模型、機制性可解釋性
本頁有 32 個術語標記為 iPAS 相關。