解析:
Token Economics 專指模型推理與生成過程中的 Token 使用量與費用。模型訓練階段的 GPU 記憶體成本屬於訓練成本,不屬於推理階段的 Token Economics 範圍。
圖形處理器(GPU)是一種專為並行處理設計的電子電路,最初用於加速圖像渲染,現廣泛應用於深度學習等需要大量計算的領域。|本頁含完整原理、應用場景、iPAS 考試重點與 3 個常見問答。
搜尋意圖: 如果你在找「圖形處理器 是什麼」或「圖形處理器 和相近概念差在哪」,先看這頁的短定義、完整說明與延伸比較。
TL;DR: 圖形處理器(GPU)是一種專為並行處理設計的電子電路,最初用於加速圖像渲染,現廣泛應用於深度學習等需要大量計算的領域。
實用情境: 適合用在閱讀 AI 文章、產品文件或和同事討論時,先用一頁快速對齊概念。
下一步: 先讀完定義,再往下看範例考題與延伸比較,把概念轉成可作答的判斷。
你有沒有遇過算圖、剪片、訓練模型時,電腦明明很新卻還是卡?
你可以把 GPU 想成專門處理很多相似小計算的工人群。 它不一定每一步都比 CPU 聰明,但能同時做很多件事,所以在深度學習、影像處理和渲染上特別有用。
你可以把它想成一個把抽象概念拉回日常判斷的提示,先知道它解決什麼問題,再看技術細節。
GPU vs CPU CPU 擅長少量複雜任務 GPU 擅長大量平行任務 最關鍵的區別是單點能力強,還是同時處理很多件事
GPU vs TPU GPU 很通用,適合很多型別的計算 TPU 更偏向神經網路矩陣運算 最關鍵的區別是通用性還是專用加速
很多小算一起算,找 GPU。
模型訓練 深度學習訓練需要大量矩陣運算,GPU 可以把這些運算平行化,所以訓練速度通常比只用 CPU 快很多。
影像渲染 3D 遊戲和影片特效要快速產生大量像素,GPU 就很像專門跑產線的機器,能把畫面算得又快又穩。
GPU 的價值在平行運算能力和記憶體頻寬,很多深度學習框架也直接把它當主要運算後端。 實際挑選時,不只看算力,也要看 VRAM、驅動支援和你的工作型態。
Q1: 你只是想跑 Excel 和文書,需不需要高階 GPU? → 通常不需要,這類工作主要吃 CPU 和記憶體。
Q2: 你要訓練影像分類模型,預算有限,先考慮什麼? → 先看可用的 GPU 記憶體和雲端租用成本,再決定要不要升級硬體。
不是,只有在能大量平行化的工作上才會明顯快。
因為模型和資料要放得下,記憶體不夠就會變慢甚至跑不動。
短期實驗或偶爾訓練時常常值得,長期大量使用則要算總成本。
某市政府交通局計劃導入生成式 AI 技術來自動生成公車到站時間預測的文字報告,每日需處理約 50 萬筆交通資料並生成 1000 份報告。在評估導入成本時,團隊希望進行 Token Economics 分析(指模型推理與生成過程中,Token 使用量及其費用)。下列何者不屬於 Token Economics 的考量範圍?
解析:
Token Economics 專指模型推理與生成過程中的 Token 使用量與費用。模型訓練階段的 GPU 記憶體成本屬於訓練成本,不屬於推理階段的 Token Economics 範圍。
在進行大型語言模型(LLM)企業專屬知識的 Fine-tuning 時,若內部 GPU 運算資源與記憶體嚴重受限,下列哪一種參數高效微調(PEFT, Parameter Efficient Fine-Tuning)技術最能在維持模型效能的前提下,顯著降低需更新的參數數量?
解析:
LoRA(Low-Rank Adaptation)是 PEFT 技術的代表,透過在原始權重旁插入低秩矩陣來微調,大幅減少需更新的參數量,同時維持模型效能,特別適合 GPU 資源受限的場景。