AITerms 登入
模型部署最佳化機器學習

模型快取(Model Caching)是什麼?

模型快取是一種將已訓練的模型儲存在記憶體或快速儲存裝置中,以加速模型載入和推論的技術。

完整定義

模型快取是一種優化機器學習模型推論性能的技術。它涉及將已訓練的模型儲存在記憶體或快速儲存裝置(例如 SSD)中,以便在需要時可以快速載入和使用。這可以顯著減少模型載入時間,提高推論速度,並降低延遲。

白話說明

你有沒有發現,同一個模型推論一直重算,速度就會慢很多?

你可以把模型快取想成,先把常用的中間結果或推論結果存起來,下一次直接拿來用。

它重要在於,省下重複計算後,延遲更低,服務吞吐也更穩。

記住這句

算過的先留著,下次直接拿。

比喻:模型快取就像把常用工具放在隨手可得的地方 -- 不用每次要用都跑去工具房找,可以直接從工作檯上拿起來用,這樣工作效率就會快很多。

容易混淆

模型快取 vs 模型壓縮

模型快取:保存結果,減少重算。

模型壓縮:縮小模型本身,減少運算和記憶體。

最關鍵的區別:前者是存起來重用,後者是把模型變小。

模型快取 vs 模型部署

模型快取:是服務中的一種優化手法。

模型部署:是把模型放到可用環境裡。

最關鍵的區別:前者是優化,後者是上線。

實際案例

重複查詢相同內容

客服系統常遇到一樣的問題,如果前一筆已算過分類結果,就可以直接快取,避免每次都重新跑模型。

熱門推薦頁

許多人看到的首頁推薦很相近,快取熱門用戶的結果能明顯減少推論壓力。

演算法與應用

快取可以放模型輸出、中間表示或特徵計算結果。

是否適合快取,常取決於請求是否重複、結果是否容易過期。

若資料變動很快,快取失效策略就特別重要。

情境判斷

Q1(情境題): 如果每個請求都長得差不多,模型快取有價值嗎?

很有價值。重複度越高,快取越能省計算。

Q2(情境題): 如果模型結果很容易因最新資料而改變,快取還能一直用嗎?

不能一直用。這時要設好失效時間或改成只快取穩定的中間結果。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本