完整定義
潛在擴散模型(LDM)是一種基於擴散模型的生成式AI模型,它將擴散和逆擴散過程應用於資料的潛在空間,而非原始像素空間。這種方法顯著降低了計算複雜度,使得生成高解析度圖像成為可能。LDM在圖像生成、圖像編輯和視訊生成等領域表現出色。
白話說明
生成圖片時,為什麼有些模型不用直接在像素上慢慢畫,而是先在更小的空間裡做?
你可以把它想成先在草圖上修改,再把草圖放大成成品,省很多計算。
潛在擴散模型(LDM)是一種生成式AI模型,透過在潛在空間中進行擴散和逆擴散過程,生成高解析度、高品質的圖像或其他資料。
記住這句
先在草圖空間畫,再放大成圖。
比喻:LDM 就像一個厲害的藝術家,它不是直接在畫布上畫,而是先在腦中勾勒出一個「模糊的草圖」(潛在空間),然後在這個草圖上不斷添加細節,逐漸把雜訊變成清晰的圖像,最後變成一幅精緻的畫作。
容易混淆
一般擴散模型
一般擴散模型直接處理像素,LDM 先在潛在空間裡工作,速度更快。
GAN
GAN 是對抗式生成,LDM 是擴散式生成,訓練方式和生成流程不同。
實際案例
文字生圖
系統先把文字條件轉成潛在表示,再逐步去雜訊生成高品質圖片。
圖片編輯
做修圖或局部重繪時,LDM 可以在潛在空間裡調整內容,再還原成影像。
演算法與應用
LDM 通常結合自編碼器和擴散過程,把高維像素壓到較小的 latent space,再在那裡做生成。這麼做能大幅降計算量,也讓高解析度生成更可行。
中英對照與常見說法
- 說法
- 潛在擴散模型
- 出現場合
- 台灣正式用語
- 說法
- 潜在扩散模型
- 出現場合
- 簡體寫法
- 說法
- Latent Diffusion Model
- 出現場合
- 英文原名
- 說法
- LDM
- 出現場合
- 標準縮寫
- 說法
- 潛空間擴散
- 出現場合
- 常見變體
關鍵改動:把擴散搬到潛空間
一般的擴散模型直接在像素上加噪與去噪。一張 512×512 的彩色圖有將近 79 萬個數值,每一步去噪都要在這個維度上算,幾十步下來成本極高。
LDM 的做法是加一個自編碼器:
第一步,用編碼器把影像壓縮到低維的潛空間。壓縮倍率常見是 8 倍,512×512 會變成 64×64,數值量降到約六十四分之一。
第二步,擴散的加噪與去噪全部在這個 64×64 的潛空間裡進行。
第三步,去噪完成後,用解碼器把潛向量還原成影像。
這個改動讓消費級顯示卡也跑得動高解析度生成,Stable Diffusion 就是建立在這個架構上。
代價是自編碼器的重建品質變成上限。潛空間丟掉的細節(極細的紋理、小字)解碼器補不回來,這是文字生成在影像裡常常糊掉的原因之一。
文字怎麼控制生成
文字條件透過交叉注意力(cross-attention) 注入去噪網路。文字先過一個文字編碼器(CLIP 的文字塔或 T5)轉成向量序列,去噪網路的每個區塊裡,影像特徵當 query、文字特徵當 key 與 value,讓每個位置都能參照提示詞。
無分類器導引(Classifier-Free Guidance, CFG) 是控制「多聽話」的旋鈕。做法是同一步同時算一次有提示與一次無提示的預測,再把兩者的差放大。CFG 值調高,畫面更貼近提示但多樣性下降、容易過飽和;調低則更自由但可能偏離需求。
取樣器(sampler)決定去噪的步數與路徑。 DDIM、DPM-Solver 這類方法能在二十步左右得到不錯的結果,比原始 DDPM 的上千步快得多。步數不是越多越好,超過一定數量之後畫面幾乎不再變化,只是白花時間。
常見問題
一般擴散模型直接處理像素,LDM 先在潛在空間裡工作,速度更快。
你可以把它想成先在草圖上修改,再把草圖放大成成品,省很多計算。
GAN 是對抗式生成,LDM 是擴散式生成,訓練方式和生成流程不同。
出現在這些考古題
官方公告試題的逐題解析裡,這 2 題把潛在擴散模型列為延伸術語。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本