AITerms 登入
機器學習深度學習自然語言處理

低秩適配(LoRA)是什麼?

LoRA是一種參數高效的微調技術,透過學習低秩矩陣來適應預訓練模型,大幅減少訓練參數,降低計算成本。

完整定義

LoRA (Low-Rank Adaptation) 是一種參數高效的微調方法,它凍結了預訓練模型的所有原始參數,並引入少量的可訓練參數(低秩矩陣)。這些低秩矩陣與原始模型權重並行添加,在訓練過程中只更新這些新增的參數,從而大幅降低了計算資源需求,並能快速適應特定任務。

白話說明

你有沒有想過,大模型微調不一定要把整個模型都重新訓練?

你可以把 LoRA 想成,只加幾片小零件,就能讓模型學新任務。

它其實就是一種低參數量的微調方法。

在算力和記憶體有限時,它常是最划算的選擇。

記住這句

少量參數,也能把大模型調到位。

比喻:LoRA 就像給預訓練好的 LLM 穿上「客製化背心」-- 你不需要重新裁剪整件衣服(動到整個大模型),只要調整背心(新增少量參數)就能讓它更合身(適應特定任務),既省時又省力。

容易混淆

LoRA vs 全量微調

全量微調會更新整個模型,LoRA 只訓練少量新增矩陣。

一個大翻修,一個小改裝。

LoRA vs 適配器模組

兩者都想少量參數調模型,但插入位置和運算方式不完全一樣。

目標相似,做法不同。

最關鍵的區別: LoRA 不是重訓整個模型,而是用少量可訓練參數做適配。

實際案例

客服口吻調整

公司想讓聊天機器人改成品牌口吻,LoRA 可以比全量微調省很多資源。

領域知識補強

醫療或法律場景的資料量不大時,LoRA 常被拿來快速做專屬適配。

演算法與應用

它把權重更新拆成低秩矩陣,凍結原始模型,只訓練新增的那部分。

這樣做能省顯存、縮短訓練時間,也方便同一底座掛多個任務版本。

在大模型微調、部署和實驗迭代裡都很常見。

情境判斷

Q1(直覺題): 你要用較少資源把大模型調成客服風格,優先想什麼方法?

LoRA 很合適,因為它只需要訓練少量參數。

Q2(判斷題): LoRA 一定比全量微調效果差嗎?

不一定,很多任務上它足夠好,而且成本更低。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 1 題把低秩適配列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本