前綴調整法 是什麼？
Prefix Tuning — 前綴調整法 的完整解釋
前綴調整法是一種參數高效的微調技術，通過在輸入序列前添加可訓練的前綴向量，來引導預訓練模型生成期望的輸出，同時保持原始模型參數凍結。
容易混淆
前綴調整法 vs 全量微調
全量微調像要重新訓練學生所有科目，改動他大腦裡所有的知識點；前綴調整法像只給學生一本小小的「重點筆記」，讓他知道這次考試的重點在哪，但學生腦中的基本知識都沒變。
最關鍵的區別：一個動提示向量，一個動整個模型。
前綴調整法 vs 全量微調
prefix tuning 只訓練前綴，full fine-tuning 會動到整個模型
最關鍵的區別：一個只改提示，一個大範圍改權重。
記住這句就好
在前面加可訓練提示，讓模型學新任務
實際案例
案例 1：客服模型只加一段前綴，就能改成品牌語氣
這種情況下，前綴調整法 會幫你把原本手工或靠直覺的步驟變得更穩。
案例 2：同一個大模型靠前綴切換不同任務風格
另一個常見場景也能看出 前綴調整法 的價值，因為它處理的是同一種核心問題。
算法與應用
核心意思就是：在前面加可訓練提示，讓模型學新任務。
很適合算力有限或需要快速切換任務的場景
如果任務差距太大，效果不一定比全量微調好
情境判斷
Q1（直覺題）： 客服模型只加一段前綴，就能改成品牌語氣 這種情況，會先想到 前綴調整法 嗎？
→ 會，因為它正好在處理這件事的核心問題，只是還要看資料乾不乾淨、流程穩不穩。
Q2（判斷題）： 資料很少時，前綴調整就一定最好嗎？
→ 看情況，若任務差異大或資料太少，完整微調有時反而更穩
相關術語
常見問題
前綴調整法與微調相比有哪些優勢？
前綴調整法的主要優勢在於參數效率。 它只需要訓練少量前綴參數，大大降低了計算成本和儲存需求。 此外，前綴調整法可以更容易地控制生成過程，例如，通過調整前綴來控制生成文本的風格或主題。 微調則需要更新整個模型的參數，計算成本高，且難以控制生成過程。
如何選擇合適的前綴長度和維度？
前綴的長度和維度取決於具體任務和數據集。 通常需要進行實驗，比較不同長度和維度的性能。 一個常用的方法是從較小的長度和維度開始，然後逐漸增加，直到模型性能不再提升。
前綴調整法在哪些情況下表現不佳？
前綴調整法在數據量非常少的情況下可能表現不佳，因為它需要一定的數據量才能學習到有效的前綴。 此外，如果任務與預訓練模型的領域差異很大，前綴調整法可能無法很好地適應。 在這些情況下，微調可能是一個更好的選擇。