影像超解析度 是什麼？
Image Super-resolution：影像超解析度 的完整解釋
從低解析度影像重建高解析度版本，增加像素數或恢復細節，廣泛應用於監視、醫療影像、老照片增強。
影像超解析度（Image Super-Resolution，SR）是解決影像降質反問題（inverse problem）的典型應用，旨在從降質影像恢復原始高保真影像。
任務定義
給定低解析度影像 I_LR（由高解析度影像 I_HR 經過下採樣、模糊、噪聲等降質過程得到），超解析度的目標是找到一個映射函數 F，使得： I_SR = F(I_LR) ≈ I_HR
其中 I_SR 是超解析度重建的影像。
傳統超解析度方法
簡單插值
- 雙線性、雙三次（Bicubic）插值：快速但結果模糊。
- Lanczos 插值：更複雜的濾波器，質量略優。
銳化與邊界增強
- Unsharp Mask：減去高斯模糊版本強化邊界。
- 拉普拉斯銳化。
- 優點：速度快。缺點：容易引入虛假邊界與偽影。
例示法（Exemplar-Based）
- SIFT Flow 與稀疏編碼超解析度（SRCNN 前身）：從訓練集中找相似低解析度塊，複製對應的高解析度塊。
- 優點：能恢復逼真的紋理。
- 缺點：計算複雜，對訓練資料依賴強。
貝葉斯推斷與最大後驗（MAP）
- 統計模型與正則化。
- 優點：理論嚴謹。
- 缺點：複雜度高，速度慢。
深度學習超解析度
卷積神經網路（2014-2016）
- SRCNN（Super-Resolution CNN，2014）：三層卷積直接回歸高解析度圖像，首次展示 CNN 在 SR 的潛力。
- VDSR：更深的網路，使用殘差學習（residual learning）。
- 優點：端到端可訓練，無需人工設計特徵。
殘差網路與密集連接（2016-2020）
- ResNet-based：SRResNet、EDSR（Enhanced Deep Residual Networks for Super-Resolution）。
- EDSR 透過移除批歸一化（batch normalization）層、加深網路達到當時最好效果。
- DenseNet-based：高效利用特徵，參數更少。
遞迴與動態網路
- 遞迴迴路：DRCN、MemNet 等利用迴圈結構逐步精化超解析度結果。
- 動態濾波器：根據輸入自適應調整卷積核。
注意力機制（2018 年後）
- 通道注意力、空間注意力：RCAN（Residual Channel Attention Networks）引入通道注意力，大幅改善效果。
- 自適應像素注意力：根據重構難度動態分配資源。
對抗網路與感知損失（2016-2020）
- SRGAN（Super-Resolution GAN）：生成器使用殘差網路，判別器判別真偽。
- 損失函數組合：L1/L2 損失（像素級）+ 感知損失（VGG 特徵）+ 對抗損失。
- 感知損失（Perceptual Loss）：不直接最小化像素誤差，而是高層特徵誤差，生成視覺上更自然的結果。
無監督與自監督方法（2020 年後）
- 利用縮放與非配對圖像的自監督信號。
- 零樣本超解析度：無需訓練資料，直接從低解析度影像內部的自相似性學習。
超解析度的放大倍數與方法
- 2x 與 4x 超解析度：最常見，實際應用的主流。
- 8x 或更高倍數：難度指數增長，容易出現偽影；需要特定設計或多步驟方法。
- 任意倍數超解析度：透過內插或頻率調制處理非整數倍數。
評估指標
- 峰值信噪比（PSNR）：像素級誤差度量，公式：PSNR = 20·log10(MAX_I / √MSE)。單位 dB，越高越好。
- 結構相似度（SSIM）：考慮亮度、對比度、結構，通常更符合人眼感知。
- 知覺相似度（LPIPS）：神經網路特徵距離，對視覺質量更敏感。
- 人眼主觀評分：AMT 或專家評估視覺質量、銳度、虛假細節程度。
- 推論時間：實時應用的關鍵指標。
常見基準資料集與任務
- Set5、Set14、BSD100：小規模評估集。
- DIV2K：高品質 2K 影像，800 張訓練 + 100 張驗證。
- Urban100：城市場景，高難度。
- 不同降質方式：雙三次插值（最簡單）、真實相機降質（最難）。
應用場景
- 監視錄像增強：提升低解析度監控影像的可用性，輔助人臉識別、車牌識別。
- 醫療影像細節恢復：CT/MRI 掃描增強，幫助醫生診斷。
- 衛星與航拍影像：提升地圖精度、災害評估。
- 老照片復原：修復褪色、低解析度的歷史照片。
- 視訊直播與串流：實時提升低頻寬傳輸的影像質量。
- 顯微鏡影像分析：生物樣本的細節增強。
超解析度的本質限制
- 信息遺失：低解析度影像內在地遺失了高頻信息，超解析度本質上是在進行「推測」而非「恢復」。
- 多解釋問題：不同的高解析度影像可能產生相同的低解析度版本，模型需要學習最「可能」的重建。
- 幻覺與虛假細節：模型可能生成訓練集中常見但原始影像中不存在的細節。
- 計算成本：高倍數超解析度（如 8x）計算代價大，推論時間長。
超解析度 vs. 其他增強任務
- 超解析度 vs. 去噪：前者增加分辨率，後者移除噪聲。
- 超解析度 vs. 去模糊：前者增加高頻細節，後者恢復被模糊抹去的邊界。
- 超解析度 vs. 影像翻譯：後者改變風格或物理特性。
實務部署建議
在生產系統中部署超解析度時，應考量以下因素：
- 倍數選擇：2x 與 4x 相對容易且實用，8x 以上需特定場景與優化。
- 速度與品質權衡：EDSR 等高精度模型推論慢；輕量化模型如 ESPCN、BTSWIN 更快。
- 訓練資料：使用目標領域的高解析度影像訓練效果最好；通用模型可遷移但可能有域差異。
- 降質模式：雙三次插值易學但不逼真；考慮用真實相機降質資料訓練以提升泛化性。
- 後處理：超解析度結果可進一步用去噪、銳化優化。
- 邊界處理：邊界像素受限於上下文，邊界品質通常低於中心，某些方法用邊界填充（padding）改善。