完整定義
模型快取是一種優化機器學習模型推論性能的技術。它涉及將已訓練的模型儲存在記憶體或快速儲存裝置(例如 SSD)中,以便在需要時可以快速載入和使用。這可以顯著減少模型載入時間,提高推論速度,並降低延遲。
白話說明
你有沒有發現,同一個模型推論一直重算,速度就會慢很多?
你可以把模型快取想成,先把常用的中間結果或推論結果存起來,下一次直接拿來用。
它重要在於,省下重複計算後,延遲更低,服務吞吐也更穩。
記住這句
算過的先留著,下次直接拿。
比喻:模型快取就像把常用工具放在隨手可得的地方 -- 不用每次要用都跑去工具房找,可以直接從工作檯上拿起來用,這樣工作效率就會快很多。
容易混淆
模型快取 vs 模型壓縮
模型快取:保存結果,減少重算。
模型壓縮:縮小模型本身,減少運算和記憶體。
最關鍵的區別:前者是存起來重用,後者是把模型變小。
模型快取 vs 模型部署
模型快取:是服務中的一種優化手法。
模型部署:是把模型放到可用環境裡。
最關鍵的區別:前者是優化,後者是上線。
實際案例
重複查詢相同內容
客服系統常遇到一樣的問題,如果前一筆已算過分類結果,就可以直接快取,避免每次都重新跑模型。
熱門推薦頁
許多人看到的首頁推薦很相近,快取熱門用戶的結果能明顯減少推論壓力。
演算法與應用
快取可以放模型輸出、中間表示或特徵計算結果。
是否適合快取,常取決於請求是否重複、結果是否容易過期。
若資料變動很快,快取失效策略就特別重要。
情境判斷
Q1(情境題): 如果每個請求都長得差不多,模型快取有價值嗎?
很有價值。重複度越高,快取越能省計算。
Q2(情境題): 如果模型結果很容易因最新資料而改變,快取還能一直用嗎?
不能一直用。這時要設好失效時間或改成只快取穩定的中間結果。
常見問題
主要是,但訓練流程中的中間特徵或資料也可能快取。
如果資料已變卻還拿舊結果,就可能不準,所以一定要管失效和更新。
概念相似,但模型快取通常更關心推論成本和模型版本一致性。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本