深度神經網路（DNN）是什麼？

包含多個隱藏層的人工神經網路，能通過層層特徵抽取學習複雜的非線性表示，是現代深度學習的基礎架構。

深度神經網路（Deep Neural Network, DNN）的概念相對廣泛，泛指「深度」（多層）的神經網路，有時特指沒有卷積或循環結構的多層感知器（MLP），有時作為深度學習架構的統稱。理解 DNN 的工作原理是掌握現代 AI 技術的必要基礎。

DNN 的架構由輸入層、多個隱藏層和輸出層組成。每層由多個神經元（Neuron）構成，每個神經元計算輸入的加權和後通過啟動函數（Activation Function）引入非線性：y = σ(Wx + b)，其中 W 是權重矩陣，b 是偏置，σ 是啟動函數（如 ReLU、Sigmoid、Tanh）。

「深度」的意義在於層次化特徵學習。淺層網路學習簡單特徵（如邊緣、顏色塊）；中間層組合為複雜特徵（如眼睛形狀、紋理）；深層學習高度抽象的語義特徵（如「這是人臉」）。這種自動特徵提取取代了傳統機器學習中繁瑣的手工特徵設計，是深度學習相較傳統方法的核心優勢。

DNN 的訓練通過反向傳播（Backpropagation）和梯度下降優化器（SGD、Adam）實現。反向傳播算法計算損失對每層權重的梯度（通過鏈式法則），優化器依梯度方向更新權重。深度學習訓練的挑戰包括：梯度消失（深層梯度趨近零，早期網路難以訓練）、梯度爆炸（梯度累積導致數值溢出）。現代解決方案包括殘差連接（ResNet）、批次正規化（Batch Normalization）和層正規化（Layer Normalization）。

常見的 DNN 變體各有特化設計：CNN 在空間位置的局部連接和權重共享適合圖像；RNN/LSTM 的循環結構適合序列資料；Transformer 的注意力機制捕獲長距離依賴，是 LLM 的基礎。選擇合適的架構比單純加深網路更重要。

在 iPAS AI 應用規劃師考試中，DNN 是 AI 技術基礎章節的核心詞彙，考生需要理解前饋傳播、反向傳播、激活函數的作用，以及 DNN 與傳統機器學習方法的適用場景差異。

在硬體加速的背景下，DNN 推論的高效實現是 AI 工程的重要課題。量化（Quantization）將 FP32 浮點數壓縮為 INT8 或 FP16，在幾乎不損失準確率的情況下將模型大小縮減 2-4 倍、推論速度提升 2-4 倍，是移動設備和邊緣部署的標準技術；剪枝（Pruning）移除低重要性的神經元或連接，進一步壓縮模型大小；知識蒸餾（Knowledge Distillation）訓練小型「學生」網路模仿大型「教師」網路的輸出，在效率和性能之間取得平衡。

神經架構搜索（Neural Architecture Search, NAS）將 DNN 的架構設計自動化：通過算法搜索最優的層數、寬度、跳躍連接等超參數，在給定的計算預算下尋找 Pareto 最優設計。EfficientNet 系列通過 NAS 找到的複合縮放規則，在不同計算預算下都能比手工設計的架構取得更好的精度-效率平衡。

在 AI 系統設計中，DNN 通常不是孤立使用的，而是嵌入在複雜的推論流水線中：前處理（特徵提取、資料標準化）→ DNN 推論（特徵嵌入 or 直接預測）→ 後處理（閾值應用、結果排序、非極大值抑制）→ 業務邏輯（快取、回退策略、A/B 測試分流）。理解這個完整鏈路是 iPAS 考試中 AI 系統架構題目的考察重點。 神經網路的可解釋性工具針對 DNN 設計了多種方法：集成梯度（Integrated Gradients）追蹤每個輸入特徵對預測的貢獻；GradCAM 在 CNN 中可視化類別激活區域；注意力權重可視化展示 Transformer 關注的輸入位置。這些工具幫助工程師診斷模型錯誤和向業務方解釋模型行為，是 XAI 研究的重要應用成果。