查詢擴展 是什麼?
Query Expansion:查詢擴展 的完整解釋
查詢擴展是信息檢索中的一種技術,通過添加同義詞、相關詞或變體詞到原始查詢中,提高檢索的回召率和搜索結果的相關性。
核心概念
查詢擴展解決的是查詞簡潔性與文檔豐富性之間的失配問題:
- 查詞簡潔性:用戶通常輸入很短的查詞,如「蘋果」、「Python」
- 文檔豐富性:相關文檔中可能用更多樣的表述,如「蘋果公司」、「Apple Inc.」、「Python 編程語言」
- 語言變異:同一個概念有多種表述方式
查詢擴展的目標是建立這種變異表述之間的橋樑,確保相關文檔不會因為表述差異而被遺漏。
常見的查詢擴展方法
1. 詞彙資源方法
- 使用詞典(如 WordNet)進行同義詞擴展
- 使用知識圖譜進行語義擴展
- 基於詞彙變異規則的擴展
2. 文本統計方法
- 相似詞co-occurrence:找與查詞經常共同出現的詞
- 局部反饋(Pseudo Relevance Feedback):假設排名靠前的文檔相關,從中提取擴展詞
- 詞嵌入方法:使用 Word2Vec、GloVe 等找到語義相近的詞
3. 基於日誌的方法
- 從搜索日誌中發現用戶經常一起搜索的查詞
- 學習查詞的重寫規則
4. 深度學習方法
- 使用 BERT、GPT 等預訓練語言模型進行擴展
- 基於神經序列模型的查詞改寫
運作原理
以「局部反饋」方法為例:
- 使用原始查詞進行初步檢索,得到前 k 個結果
- 假設這 k 個文檔是相關的,計算它們中詞的 TF-IDF
- 選擇得分最高的詞(除去查詞本身)添加到擴展查詞中
- 使用擴展後的查詞重新進行檢索
例如,原始查詞「深度學習」的局部反饋可能得到擴展詞「神經網路」「神經元」「卷積」等,最終的擴展查詞變為「深度學習 神經網路 神經元 卷積」。
實際應用
- 通用搜索引擎:改進原始查詞,提高相關性
- 專業搜索:醫療搜索、法律文檔搜索中處理專業術語變異
- 垂直搜索:電商搜索、學術論文搜索
- 多語言檢索:在不同語言間進行查詞轉換和擴展
- 推薦系統:擴展用戶的搜索意圖,改進推薦
常見誤區
許多人認為查詞擴展越多越好,但實際上盲目擴展會引入噪音,導致檢索到大量不相關的結果。有效的查詢擴展需要精心選擇擴展詞,確保添加的詞真正相關而不是引入歧義。