搜尋意圖： 如果你在找「基於評分的生成模型 是什麼」或「基於評分的生成模型 和相近概念差在哪」，先看這頁的短定義、完整說明與延伸比較。
TL;DR： 通過學習數據分佈的梯度（評分函數）來生成數據的生成模型，使用評分匹配目標直接建模數據分佈的梯度。
實用情境： 適合用在閱讀 AI 文章、產品文件或和同事討論時，先用一頁快速對齊概念。
下一步： 先讀完定義，再往下看延伸比較與對應工具，把概念轉成實際應用。
通過學習數據分佈的梯度（評分函數）來生成數據的生成模型，使用評分匹配目標直接建模數據分佈的梯度。
核心概念
基於評分的生成模型（Score-based Generative Model）源於一個關鍵觀察：與其直接估計概率密度 p(x)，不如估計它的梯度，即評分函數 s(x) = ∇_x log p(x)。
評分函數有深刻的統計和物理意義。在統計學中，log p(x) 的梯度指向概率增加最快的方向。在物理學中，這與勢能場的梯度相關。利用評分函數生成樣本的方法稱為朗之萬動力學，它模擬了一個在勢能場中運動的粒子，受到隨機熱波動。
朗之萬動力學採樣的公式為： x_{t+1} = x_t + ε/2 · ∇_x log p(x_t) + √ε · z_t 其中 ε 是步長，z_t 是標準高斯噪音。通過多個時間步的疊代，系統逐漸探索並到達數據分佈的高概率區域。
評分函數的估計使用評分匹配（Score Matching）目標。直接計算 ∇_x log p(x) 是困難的，但可以使用一個等價的目標： J_SM(θ) = 1/2 E_x~p(data)[||s_θ(x)||² + 2 tr(∇_x s_θ(x))]
這個目標通過費舍爾散度（Fisher Divergence）與 KL 散度相關，並且可以通過數據驅動的方式計算。神經網路 s_θ 的目標是最小化這個評分匹配損失。
評分函數的優勢包括：評分匹配目標不需要計算配分函數（一個通常難以計算的歸一化常數），使得訓練更加高效。評分函數相比概率密度更容易直接估計，因為梯度通常更平滑。
運作原理
基於評分的生成模型的運作涉及兩個主要階段：訓練和採樣。
在訓練階段，給定一個數據集，模型用神經網路 s_θ(x) 來估計評分函數 ∇_x log p(x)。訓練目標是最小化評分匹配損失。實踐中，評分匹配損失涉及計算 Hessian（二階導數），這在計算上是昂貴的。為了避免這個成本，可以使用去噪評分匹配（Denoising Score Matching）的變體，在數據上添加噪音，然後計算去噪評分匹配損失，這在計算上更高效。
評分函數通常由一個較大的神經網路（如 ResNet 或 U-Net）參數化，以捕捉複雜的梯度結構。
在採樣階段，從一個先驗分佈（通常是高斯噪音）開始，使用朗之萬動力學逐步改進樣本。採樣過程為：
- 初始化 x_0 ~ N(0, I)（高斯先驗）
- 對 t = 1 到 T：
- 計算評分：s_θ(x_t)
- 更新：x_{t+1} = x_t + ε/2 · s_θ(x_t) + √ε · z_t
- 返回 x_T
隨著採樣進行，樣本從高方差的噪音逐步演化為低方差、高概率的數據。
實際應用
基於評分的生成模型在高維圖像生成中取得了優異的結果。例如，利用評分函數和朗之萬動力學，模型可以生成 CIFAR-10 和 CelebA 等標準基準上的高質量圖像。
在圖像修復（Inpainting）和圖像補全中，評分函數提供的梯度信息可以用於條件採樣，即在某些像素固定的情況下生成其他像素。這使得評分函數非常適合受限採樣問題。
在點雲生成中，評分函數被擴展到非歐幾里得數據，用於生成 3D 物體。
在反演問題（Inverse Problem）中，如去模糊、去噪和超解析度，評分函數可以用作先驗，引導恢復過程。
在計算生物學中，評分函數被應用於分子設計和蛋白質結構預測。
基於評分的生成模型與擴散模型有密切關聯。實際上，擴散模型可以看作是在各種噪聲水平下的評分函數的一個特殊情況。
常見誤區
一個常見的誤區是認為評分函數只能用於圖像。實際上，評分函數的概念是通用的，可以應用於任何類型的數據，包括文本、圖表、時間序列等。
另一個誤區是認為朗之萬動力學採樣效率低。實際上，現代的變體（如調度朗之萬採樣）可以實現高效率的採樣，特別是結合了適應性步長和噪音水平的調度。
還有人誤以為評分匹配比其他訓練目標更複雜。實際上，現代的去噪評分匹配目標與 DDPM 的噪音預測目標在形式上非常相似，都是簡單的均方誤差目標。
與相關技術的比較
基於評分的生成模型與擴散模型密切相關，可以看作是同一框架的不同角度。擴散模型強調逐步去噪過程，而評分模型強調評分函數的學習。從數學上講，它們是等價的，只是表述和強調的角度不同。
與 GAN 相比，評分模型訓練更穩定，不受模式崩潰困擾，但推理通常較慢（需要多步朗之萬採樣）。
與 VAE 相比，評分模型的訓練不涉及複雜的變分推理，目標函數更直接。評分模型通常生成更清晰的樣本，但需要更多的採樣步驟。
與基於能量的模型相比，評分模型與能量模型都定義了無歸一化的分佈表示，但評分模型直接學習梯度，而能量模型學習能量函數。評分模型的訓練通常更有效率。
常見問題
評分函數和擴散模型有什麼關係？
評分函數和擴散模型有深刻的數學聯繫。在擴散模型中，模型學習預測每個時間步的噪音，而這個噪音預測與評分函數的學習本質上等價。具體來說，DDPM 的噪音預測目標可以被重新表述為學習噪聲數據分佈的評分函數。這意味著擴散模型可以看作是在各種噪聲水平下同時學習多個評分函數的方法。評分函數的視角提供了擴散模型的一個理論上更基礎和一般的理解。許多後續的改進和理論分析都基於評分函數框架，將兩者統一在一個更廣泛的框架下。
朗之萬動力學採樣的收斂性如何保證？
朗之萬動力學採樣的收斂性有理論保證。在連續時間的極限下，朗之萬動力學的不變分佈正是目標分佈 p(x)。在離散時間情況下，當步長 ε 充分小且採樣步數 T 充分大時，採樣分佈會接近目標分佈。具體的收斂速率取決於分佈的形狀和評分函數估計的精度。如果評分函數估計得很準確，收斂速度會很快。如果評分函數估計有誤差，採樣過程可能慢下來，甚至陷入局部陷阱。在實踐中，可以通過調度步長 ε 和噪音水平，並使用足夠的採樣步驟來確保收斂。現代的變體（如 SDE-based 採樣）提供了更好的收斂保證。
評分匹配訓練目標有什麼優勢？
評分匹配訓練目標相比其他目標有幾個優勢。首先，它不需要計算配分函數（歸一化常數），而許多其他方法（如最大似然）需要。這使得訓練對高維問題更加可行。第二，評分匹配目標對應於費舍爾散度，這通常提供更平滑的學習信號。第三，評分匹配可以結合數據擾動（去噪評分匹配），進一步提高訓練效率和穩定性。第四，評分函數直接對應於採樣過程所需的梯度信息，避免了額外的轉換步驟。這些優勢使得評分匹配成為訓練生成模型的一個非常有效的方法。