目標定位 是什麼？
Grounding：目標定位 的完整解釋
在圖像中定位自然語言描述的物體，通過將文本表達與圖像中的視覺區域進行對應，實現視覺語言理解。
核心概念
目標定位的核心是建立文本描述和圖像中物體位置的對應關係。不同於物體檢測（檢測預定義類別的物體）或分割（分割指定類別的物體），目標定位處理任意自然語言描述，提供更靈活的視覺查詢方式。
目標定位涉及幾個關鍵要素：首先，文本編碼器必須理解自然語言的細微含義（如「最大的紅色球」與「紅色的球」的區別）。其次，視覺編碼器必須提取空間信息豐富的特徵，保留物體的邊界和位置線索。最後，跨模態融合機制必須將文本語義和視覺特徵關聯起來，使模型能「看到」描述所指的物體。
目標定位與視覺問答（VQA）的區別在於：VQA輸出答案文本（如「球的顏色」→「紅色」），而目標定位輸出空間坐標。目標定位與圖像分類的區別在於：分類輸出類別標籤，定位輸出精確邊界框。
運作原理
目標定位的典型運作流程如下：
首先是特徵提取。圖像被輸入到視覺骨幹網絡（如Swin Transformer或ViT），生成多尺度特徵金字塔（FPN）。特徵保留了豐富的空間信息，維度通常為H'×W'×C（高度×寬度×通道）。文本描述被輸入到預訓練語言模型（如BERT或RoBERTa），生成詞級別的嵌入向量和句級別的全局特徵。
接著是跨模態融合。文本特徵和視覺特徵在共同的嵌入空間中進行融合。一種常見的方法是利用跨模態注意力：文本的全局特徵作為查詢，視覺特徵圖中的每個位置都可被關注。計算注意力權重後，得到融合後的視覺特徵，這些特徵已被文本語義加權。
然後進行邊界框回歸。使用融合後的特徵，通過幾個卷積層或Transformer層進行特徵變換，最後通過一個回歸頭預測邊界框的座標（如左上角和右下角的(x,y)座標，或中心座標和寬高）。
另一種方法是分割為中間步驟：先進行物體分割或關鍵點偵測，然後從分割遮罩或關鍵點擬合邊界框。這通常更精確，但計算量更大。
損失函數通常包含邊界框迴歸損失（如L1損失、GIoU損失）和分類置信度損失（判斷是否有物體在該位置）。
訓練資料包含圖像、自然語言描述和對應的邊界框標籤。代表性資料集包括ReferIt、RefCOCO等。
推理時，輸入圖像和自然語言查詢，模型輸出邊界框或分割遮罩。
現代目標定位模型（如GLiP、OWL-ViT）還結合了開放詞彙檢測的思想，支持檢測任意類別描述的物體。這些模型通過大規模弱監督資料（如圖文對）進行預訓練，學習更廣泛的視覺語言對應。
實際應用
目標定位在多個領域有重要應用。
在互動式圖像編輯中，用戶用自然語言描述要編輯的物體（「左上角的人臉」、「紅色的車」），目標定位定位該物體，然後編輯工具對該區域進行修改。這比傳統的手工選取更直觀高效。
在視覺對話中，用戶與AI進行多輪對話，涉及對圖像中物體的引用。目標定位使AI能理解用戶的指代，準確回答關於特定物體的問題。
在細粒度檢索中，用戶可以用詳細描述搜索圖像（「綠色衣服的女性」），目標定位幫助系統不僅檢索相關圖像，還定位該物體的位置。
在輔助技術中，目標定位幫助視障人士理解複雜圖像。用戶用語言描述物體位置（「告訴我右下角有什麼」），系統定位並識別。
在遠程協作中，一人可用自然語言指導遠程攝像頭的操作者（「放大左上角的文件」），目標定位指導操作。
在數據標註中，目標定位可用於自動為大量圖像標註物體邊界框，加速標註流程。
常見誤區
誤區一：目標定位只是物體檢測加文本匹配。實際上，目標定位需要深層的文本理解和視覺語言對齐。簡單的關鍵詞匹配無法處理複雜描述（「不是紅色的球」、「最大的球」）。
誤區二：任何視覺編碼器和文本編碼器組合都能實現目標定位。實際上，編碼器必須設計為保留空間信息（視覺）和精細語義（文本）。簡單的分類編碼器無法提供空間細節。
誤區三：目標定位準確度與物體檢測相同。實際上，目標定位通常更困難，因為描述的多樣性和模糊性大於固定類別。即使對人類來說，「棕色的東西」可能指狗或木頭。
誤區四：大規模模型總是更好。實際上，在目標定位上，好的特徵設計和訓練策略往往比模型大小更重要。一些較小但設計精良的模型可能優於巨大但通用的模型。
與相關技術的比較
目標定位 vs 物體檢測：檢測識別預定義類別的物體，定位識別自然語言描述的物體。定位更靈活，檢測更精確。兩者可結合，先檢測粗略位置，再用定位精煉。
目標定位 vs 分割：都需要精確的空間定位。定位通常輸出邊界框，分割輸出像素級遮罵。定位更快，分割更精確。
目標定位 vs VQA：VQA輸出文本答案，定位輸出空間座標。VQA可能涉及推理，定位專注定位。
目標定位 vs 視覺檢索：檢索找到相似圖像，定位在給定圖像中找到物體。定位是影像內任務，檢索是影像間任務。
目標定位 vs 開放詞彙檢測：開放詞彙檢測泛化到任意類別標籤，定位泛化到任意自然語言描述。兩者目標相似但實現不同。