AITerms 登入
機器學習深度學習自然語言處理

前綴調整法(Prefix Tuning)是什麼?

前綴調整法是一種參數高效的微調技術,通過在輸入序列前添加可訓練的前綴向量,來引導預訓練模型生成期望的輸出,同時保持原始模型參數凍結。

完整定義

前綴調整法是一種輕量級的微調方法,它在預訓練語言模型的輸入序列前添加一段可訓練的前綴(prefix),並僅更新這些前綴的參數,而凍結預訓練模型本身的大部分參數。通過調整前綴,模型可以被引導生成特定任務所需的輸出,從而實現任務適應。這種方法在保持模型性能的同時,顯著降低了訓練成本。

白話說明

你想微調大模型時,會不會想只動一小部分就有感?

你可以把 前綴調整法 想成 只動一小段提示,就讓大模型換任務。

少量參數就能帶出新行為,在前面加可訓練提示,讓模型學新任務 這件事就特別重要。

記住這句

在前面加可訓練提示,讓模型學新任務

比喻:前綴調整法就像給一個很聰明的學生一份「提示清單」-- 學生(預訓練模型)本身很厲害,你不需要重新教他所有東西,只要給他前面幾點提示(前綴向量),他就能理解你的意圖,並寫出你想要的答案。

容易混淆

前綴調整法 vs 全量微調

全量微調像要重新訓練學生所有科目,改動他大腦裡所有的知識點;前綴調整法像只給學生一本小小的「重點筆記」,讓他知道這次考試的重點在哪,但學生腦中的基本知識都沒變。

最關鍵的區別:一個動提示向量,一個動整個模型。

前綴調整法 vs 全量微調

prefix tuning 只訓練前綴,full fine-tuning 會動到整個模型

最關鍵的區別:一個只改提示,一個大範圍改權重。

實際案例

案例 1:客服模型只加一段前綴,就能改成品牌語氣

案例 2:同一個大模型靠前綴切換不同任務風格

演算法與應用

核心意思就是:在前面加可訓練提示,讓模型學新任務。

很適合算力有限或需要快速切換任務的場景

如果任務差距太大,效果不一定比全量微調好

情境判斷

Q2(判斷題): 資料很少時,前綴調整就一定最好嗎?

看情況,若任務差異大或資料太少,完整微調有時反而更穩

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本