全景分割 是什麼？
Panoptic Segmentation：全景分割 的完整解釋
結合語義分割和實例分割，同時處理可數物體（分個體）和不可數物體（只分類），提供完整的場景理解。
核心概念
全景分割（Panoptic Segmentation）於2018年由Facebook AI研究團隊正式提出，統一了視覺場景理解的兩個傳統分支。傳統方案需分別進行語義分割（無差別標記所有「樹」）和實例分割（區分每棵「樹」），全景分割一次完成。
全景分割將物體類別分為兩類：無實例類（Stuff）和有實例類（Thing）。無實例類包括背景、天空、牆壁等廣泛分布且邊界不清的物體，輸出為均勻的類別標籤。有實例類包括人、車、動物等明確分界的物體，需標記個體身份。同一影像中可能有多個人，全景分割需為每人生成唯一實例ID。
輸出格式是全景分割圖（Panoptic Map），每個像素編碼為：[semantic_id, instance_id]。例如像素可標記為 [person: 1]（第一個人）、[car: 2]（第二輛車）或 [sky]（無實例）。這種統一表示支撐後續的場景推理和交互。
運作原理
全景分割的架構常採用「兩頭架構」（Two-Head Architecture）。編碼器提取共享特徵，隨後分裂為兩個解碼器頭：
- 語義分割頭：直接預測每像素的語義類別，輸出與原始影像同尺寸的類別圖。
- 實例分割頭：使用Mask R-CNN或類似框架檢測有實例類物體，為每個檢測到的物體生成精確掩模。
兩頭輸出隨後融合：對於有實例類像素，使用實例分割結果；對無實例類像素，使用語義分割結果。這種設計既能高效提取共享特徵，又保持了任務特異性。
現代方法如DETR-Panoptic進一步簡化了設計，使用transformer架構統一處理。編碼器-解碼器transformer擅長建模長距離依賴，能更好地理解全局場景結構。
訓練過程中，使用PQ（Panoptic Quality）作為主要評價指標。PQ綜合了語義準確度和實例分割精度，定義為：PQ = SQ × RQ，其中SQ衡量分割品質，RQ衡量識別率。
實際應用
自動駕駛是全景分割的核心應用。駕駛決策需要完整的環境認知：識別道路、人行道、建築（無實例類），同時區分各輛車、各個行人、各輛自行車（有實例類）。全景分割一次提供所有資訊，支撐更複雜的路徑規劃和風險評估。
室內導航和機器人使用全景分割進行環境地圖構建。機器人需區分多把椅子（有實例）卻標記牆壁為單一類別（無實例），全景分割完全滿足這類需求。
影像編輯和合成應用中，全景分割提供精細的物體級掩模。用戶可精準移除或替換特定物體實例，而不影響同類的其他物體。
3D場景重建依賴全景分割的實例資訊。每個物體實例可獨立重建其3D模型，構建富有結構的場景表達。
常見誤區
誤區一：全景分割總是比語義分割或實例分割更優。實際上，如果應用只需類別資訊（如農業遙感的作物分類）或只需物體檢測，簡單方案效率更高。全景分割的複雜度只在需要同時滿足兩項需求時才值得。
誤區二：無實例類物體邊界自動清晰。實際上天空與建築、牆壁與地板的邊界可能模糊。全景分割仍需精細的邊界預測。
誤區三：全景分割PQ指標與人類主觀感受完全一致。PQ是統計指標，某些應用中邊界略誤但語義正確，主觀體驗反而更好。
與相關技術的比較
全景分割 vs 語義分割：語義分割無法區分同類物體，全景分割完整標記個體。語義分割計算量小，全景分割精度高。
全景分割 vs 實例分割：實例分割只處理可數物體（Thing），忽視背景和不可數物體（Stuff）。全景分割統一處理，場景理解更完整。
全景分割 vs 3D視覺：全景分割是2D層面的理解，3D視覺進一步估計深度和3D位置。全景分割是輕量級方案，3D視覺精度更高但計算成本大。