完整定義
LoRA (Low-Rank Adaptation) 是一種參數高效的微調方法,它凍結了預訓練模型的所有原始參數,並引入少量的可訓練參數(低秩矩陣)。這些低秩矩陣與原始模型權重並行添加,在訓練過程中只更新這些新增的參數,從而大幅降低了計算資源需求,並能快速適應特定任務。
白話說明
你有沒有想過,大模型微調不一定要把整個模型都重新訓練?
你可以把 LoRA 想成,只加幾片小零件,就能讓模型學新任務。
它其實就是一種低參數量的微調方法。
在算力和記憶體有限時,它常是最划算的選擇。
記住這句
少量參數,也能把大模型調到位。
比喻:LoRA 就像給預訓練好的 LLM 穿上「客製化背心」-- 你不需要重新裁剪整件衣服(動到整個大模型),只要調整背心(新增少量參數)就能讓它更合身(適應特定任務),既省時又省力。
容易混淆
LoRA vs 全量微調
全量微調會更新整個模型,LoRA 只訓練少量新增矩陣。
一個大翻修,一個小改裝。
LoRA vs 適配器模組
兩者都想少量參數調模型,但插入位置和運算方式不完全一樣。
目標相似,做法不同。
最關鍵的區別: LoRA 不是重訓整個模型,而是用少量可訓練參數做適配。
實際案例
客服口吻調整
公司想讓聊天機器人改成品牌口吻,LoRA 可以比全量微調省很多資源。
領域知識補強
醫療或法律場景的資料量不大時,LoRA 常被拿來快速做專屬適配。
演算法與應用
它把權重更新拆成低秩矩陣,凍結原始模型,只訓練新增的那部分。
這樣做能省顯存、縮短訓練時間,也方便同一底座掛多個任務版本。
在大模型微調、部署和實驗迭代裡都很常見。
情境判斷
Q1(直覺題): 你要用較少資源把大模型調成客服風格,優先想什麼方法?
LoRA 很合適,因為它只需要訓練少量參數。
Q2(判斷題): LoRA 一定比全量微調效果差嗎?
不一定,很多任務上它足夠好,而且成本更低。
常見問題
因為它不動整個模型,只訓練少量低秩參數。
可以,很多實務流程會把兩者搭在一起,進一步省硬體。
適合想做大模型微調,但算力和預算都有限的團隊。
出現在這些考古題
官方公告試題的逐題解析裡,這 1 題把低秩適配列為延伸術語。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本