---
title: "權重裁剪（Weight Clipping）"
slug: weight-clipping
language: zh-TW
source: https://aiterms.tw/terms/weight-clipping
updated_at: 2026-07-04
tags: [深度學習, 模型訓練, 生成式AI, 最佳化, source:ipas]
ipas_term: true
---

# 權重裁剪（Weight Clipping）

權重裁剪是一種正則化技術，透過將神經網路的權重限制在特定數值範圍內，以增強模型訓練的穩定性與收斂效果。

## 完整說明

權重裁剪是一種強迫神經網路參數保持在預定範圍內的正則化技術，用於限制模型函數的變化率，從而滿足特定數學條件（如 Lipschitz 連續性），常見應用包括穩定生成對抗網路（特別是 Wasserstein GAN）的訓練過程，以及在量化模型中控制權重分佈。

## iPAS 考試出題分析

屬於未分類考範圍。

## 常見問題

### 權重裁剪與梯度裁剪有什麼本質上的差異？

兩者的核心差異在於操作對象。權重裁剪是直接針對神經網路的「參數數值」進行限制，確保參數值在一個固定的上下限之間，通常用於滿足特定的數學約束條件，如利普希茨連續性。而梯度裁剪則是針對反向傳播計算出來的「梯度數值」進行限制，主要目的是防止在更新參數時發生梯度爆炸，導致模型發散。簡單來說，一個限制的是模型目前的狀態，另一個限制的是模型狀態改變的步伐。

### 在訓練 Wasserstein GAN 時，為什麼現在很少使用權重裁剪？

雖然權重裁剪最初被用於此架構以滿足數學限制，但研究顯示這種做法會導致病態的行為。硬性裁剪會使大量權重集中在設定的閾值邊界上，嚴重限制了神經網路擬合複雜分佈的能力。此外，如果閾值設定不當，非常容易導致整個網路面臨梯度消失或梯度爆炸的問題。因此，現代架構普遍改用梯度懲罰技術，透過軟性約束的方式，在維持訓練穩定性的同時，保留模型所需的表達能力。

### 如何決定權重裁剪中的最佳閾值參數？

閾值的選擇並沒有絕對標準，通常需要針對特定任務進行超參數微調。常見的做法是先不使用裁剪，觀察模型訓練初期權重分佈的平均值與標準差，以此為基準設定初始的閾值範圍。在模型量化領域，工程師經常會選擇將閾值設定為能保留絕大部分權重能量的數值，直接裁剪掉極端離群值。在實務上，若發現模型收斂緩慢或激活值趨近於零，通常意味著閾值設定過小；若發現模型容易發散，則可能需要考慮縮小閾值或輔助其他正則化方法。

---

來源：https://aiterms.tw/terms/weight-clipping
快查頁：https://aiterms.tw/terms/weight-clipping
最後更新：2026/07/04
深度解說：https://aiterms.tw/learning/what-is-weight-clipping