低秩適配(LoRA)是什麼?

LoRA是一種參數高效的微調技術,透過學習低秩矩陣來適應預訓練模型,大幅減少訓練參數,降低計算成本。|本頁含完整原理、應用場景、iPAS 考試重點與 3 個常見問答。

英文
LoRA
主題標籤
機器學習、深度學習、自然語言處理
考點定位
非 iPAS 核心術語
最後更新
2026/06/17
低秩適配(LoRA)是什麼? 機器學習深度學習
術語快查

搜尋意圖: 如果你在找「低秩適配 是什麼」或「低秩適配 和相近概念差在哪」,先看這頁的短定義、完整說明與延伸比較。

TL;DR: LoRA是一種參數高效的微調技術,透過學習低秩矩陣來適應預訓練模型,大幅減少訓練參數,降低計算成本。

實用情境: 適合用在閱讀 AI 文章、產品文件或和同事討論時,先用一頁快速對齊概念。

下一步: 先讀完定義,再往下看延伸比較與對應工具,把概念轉成實際應用。

你有沒有想過,大模型微調不一定要把整個模型都重新訓練? 你可以把 LoRA 想成,只加幾片小零件,就能讓模型學新任務。 它其實就是一種低參數量的微調方法。 在算力和記憶體有限時,它常是最划算的選擇。

你可以把它想成一個把抽象概念拉回日常判斷的提示,先知道它解決什麼問題,再看技術細節。

容易混淆

LoRA vs 全量微調 全量微調會更新整個模型,LoRA 只訓練少量新增矩陣。 一個大翻修,一個小改裝。

LoRA vs 適配器模組 兩者都想少量參數調模型,但插入位置和運算方式不完全一樣。 目標相似,做法不同。

最關鍵的區別: LoRA 不是重訓整個模型,而是用少量可訓練參數做適配。

記住這句就好

少量參數,也能把大模型調到位。

實際案例

客服口吻調整 公司想讓聊天機器人改成品牌口吻,LoRA 可以比全量微調省很多資源。

領域知識補強 醫療或法律場景的資料量不大時,LoRA 常被拿來快速做專屬適配。

算法與應用

它把權重更新拆成低秩矩陣,凍結原始模型,只訓練新增的那部分。 這樣做能省顯存、縮短訓練時間,也方便同一底座掛多個任務版本。 在大模型微調、部署和實驗迭代裡都很常見。

情境判斷

Q1(直覺題): 你要用較少資源把大模型調成客服風格,優先想什麼方法?

LoRA 很合適,因為它只需要訓練少量參數。

Q2(判斷題): LoRA 一定比全量微調效果差嗎?

不一定,很多任務上它足夠好,而且成本更低。

常見問題

LoRA 為什麼省資源?

因為它不動整個模型,只訓練少量低秩參數。

LoRA 能和量化一起用嗎?

可以,很多實務流程會把兩者搭在一起,進一步省硬體。

LoRA 適合什麼人?

適合想做大模型微調,但算力和預算都有限的團隊。