# 微調（Fine-tuning）

微調在預訓練模型基礎上，以少量特定領域資料繼續訓練，使通用模型適應特定任務需求

## 完整說明

微調是一種遷移學習技術，用於將預訓練模型應用於新的任務或資料集。它通過在預訓練模型的基礎上，使用新的資料集進行少量訓練，以調整模型參數，使其適應新的任務。在 iPAS 中級考試中，微調的原理、優缺點，以及如何選擇合適的預訓練模型和微調策略是重要的考點。

## iPAS 考試出題分析

平均佔 AI 技術類考題 2%，屬於未分類考範圍。

## 常見問題

### 微調的學習率應該如何設定？

微調時，學習率通常需要比從頭訓練時更小。建議從較小的學習率開始嘗試，例如 1e-4 或 1e-5，然後根據驗證集的性能進行調整。如果模型性能提升緩慢，可以適當增大學習率；如果模型性能下降，則應減小學習率。 也可以使用學習率衰減策略，例如在訓練過程中逐漸減小學習率。

### 凍結多少層比較合適？

凍結多少層取決於預訓練模型與目標任務的相似程度。如果目標任務與預訓練模型的任務非常相似，可以只訓練輸出層；如果目標任務與預訓練模型的任務差異較大，則需要訓練更多的層。 一般來說，可以先凍結較底層的層，然後逐漸解凍更多的層，觀察模型性能的變化，最終選擇一個合適的凍結層數。

### 如何避免微調時的過度擬合？

避免過度擬合的方法有很多，包括使用正則化技術（例如 L1 或 L2 正則化）、資料增強、提前停止訓練等。 此外，還可以使用 Dropout 技術，隨機丟棄一部分神經元，以降低模型的複雜度。 選擇合適的超參數也是避免過度擬合的重要手段。

---

來源：https://aiterms.tw/terms/fine-tuning
快查頁：https://aiterms.tw/terms/fine-tuning
深度解說：https://aiterms.tw/learning/what-is-fine-tuning