AITerms 登入
自然語言處理推薦系統資料處理

稀疏檢索(Sparse Retrieval)是什麼?

稀疏檢索是一種資訊檢索方法,它使用稀疏向量來表示查詢和文檔,向量中的非零元素通常表示詞彙的存在或重要性。

完整定義

稀疏檢索是一種資訊檢索方法,其核心思想是將查詢和文檔表示為高維稀疏向量。這些向量中的大多數元素為零,只有少數元素表示詞彙的存在或重要性。這種表示方法簡化了計算,並允許快速檢索相關文檔,尤其是在處理大規模文本數據時。

白話說明

你有沒有在你在搜尋引擎裡輸入關鍵字,想快速找出包含那些詞的文件,發現只看表面常常不夠?

你可以把它想成用稀疏向量做比對,重點在詞彙是否出現、出現得多不多。

它速度快、可解釋,也很適合大規模文本搜尋。

記住這句

看詞彙匹配和權重,不看深層語意,就是稀疏檢索。

比喻:稀疏檢索就像一位圖書館管理員,只看書名、作者和關鍵字來找書 -- 它不是讀完整本書來理解內容,而是快速掃描文件裡有沒有你查詢的特定詞彙,詞彙越多越相關,就越容易被找到。

容易混淆

稠密檢索

稀疏檢索像用關鍵字搜尋,只找詞彙匹配。

稠密檢索則像用語意搜尋,理解查詢和文件的「意思」是否相關,即使詞彙不完全一樣也能找到。稀疏檢索比較直接,但可能錯過語意相關但詞彙不同的結果。

實際案例

法規搜尋常用 BM25 找出包含精確條文用語的結果。

工程文件搜尋時,關鍵字和專有名詞通常比語意相似更重要。

演算法與應用

典型方法包括倒排索引、TF-IDF 和 BM25。

它強在效率和可控性,但對同義改寫的理解通常不如稠密檢索。

情境判斷

Q1(直覺題): 你要找文件裡明確出現過的詞,這種方法適合嗎?

適合。它就是為詞彙匹配而生。

Q2(判斷題): 如果使用者問法很多變、常常改寫同一件事,還只靠它嗎?

看情況。這時候常會搭配語意搜尋或混合搜尋。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本