新穎性偵測 是什麼？
Novelty Detection：新穎性偵測 的完整解釋
新穎性偵測是一種機器學習技術，旨在識別訓練資料中從未出現過的全新模式或資料點，通常用於確保系統在面對未知情況時的穩定性。
核心概念
新穎性偵測是機器學習領域中一個關鍵且極具挑戰性的研究方向。在許多實際的應用情境下，收集大量的正常資料相對容易，但要窮舉所有可能的異常或全新狀況則幾乎是不可能的任務。新穎性偵測的核心思想在於建立一個模型，這個模型僅使用正常或者已知的資料進行訓練，而在推論階段，當輸入的資料點與訓練資料的分布存在顯著差異時，模型能夠將其標記為新穎或未知的樣本。
這種方法的根本動機源自於開放世界問題的本質。在傳統的監督式學習中，模型被假設測試資料與訓練資料來自相同的機率分布，且類別標籤是固定的。然而，在動態變化的真實環境中，系統常常會遇到從未見過的輸入。如果模型缺乏識別新穎性的能力，它可能會對這些未知的輸入給出高度自信的錯誤預測，這在諸如醫療診斷或自動駕駛等高風險領域是不可接受的。因此，新穎性偵測成為了提升人工智慧系統安全性與可靠性的重要防線。
新穎性偵測與我們人類的認知過程有著相似之處。當我們在日常生活中遇到從未見過的物體或事件時，我們的大腦會自動將其歸類為新奇事物，進而引發警覺或好奇心，而不是盲目地將其歸入已知的類別中。在機器學習系統中賦予這種能力，意味著模型學會了知道自己不知道什麼，這是實現通用人工智慧的重要一步。透過讓演算法具備辨識陌生事物的能力，我們可以建構出更具彈性且更貼近真實世界運作邏輯的智慧系統。
運作原理
新穎性偵測的運作原理涵蓋了多種不同的數學與統計模型，主要可以分為幾何方法、機率方法、重構方法以及基於深度學習的方法。每一種方法都有其特定的假設和適用場景，研究人員會根據資料特性選擇最合適的架構。
幾何方法通常試圖在特徵空間中尋找一個邊界，將正常資料包圍起來。單類別支持向量機是這類方法的經典代表。它透過將資料映射到高維特徵空間，然後尋找一個超平面，使得正常資料與原點之間保持最大距離，同時將盡可能多的正常資料包含在這個超平面所劃定的區域內。在測試階段，任何落在這個邊界之外的資料點都會被視為新穎樣本。另一種常見的幾何方法是孤立森林，它透過隨機選擇特徵並隨機切分資料空間，將資料點孤立出來。新穎或異常的樣本因為特徵獨特，通常只需很少的切分次數就能被孤立，藉由計算孤立所需的路徑長度，便能評估資料的新穎程度。
機率方法則是建立正常資料的機率密度函數。高斯混合模型常被用於捕捉資料的多峰分布特徵。在這種框架下，模型首先估計訓練資料的機率分布。當新的資料點輸入時，模型會計算該資料點在已知分布下出現的機率。如果這個機率值低於某個預先設定的閾值，則代表該資料點極度罕見，進而被判定為新穎模式。這類方法在資料分布符合特定統計假設時表現良好，且能夠提供機率形式的輸出，便於後續的決策整合。
重構方法，特別是基於自編碼器的技術，近年來受到廣泛關注。自編碼器是一種神經網路結構，其目標是將輸入資料壓縮成低維的潛在表示，然後再將其重構回原始空間。在訓練階段，自編碼器僅學習如何完美重構正常資料。當面臨新穎資料時，由於這些資料的特徵模式並未包含在訓練集中，網路無法有效地將其壓縮並重構，導致重構誤差顯著增加。透過設定重構誤差的閾值，我們可以挑選出新穎樣本。這種方法在處理高維度影像或訊號資料時展現出極大的優勢。
隨著深度學習的發展，許多結合了特徵提取與密度估計的混合模型也被提出。生成對抗網路和正規化流已被應用於更精細地建模複雜的高維資料分布。這些先進的方法不僅能夠處理非結構化資料，還能在潛在空間中執行更靈活的新穎性評估。透過深度神經網路強大的表徵學習能力，系統能夠自動提取出有助於區分正常與新穎樣本的高階語意特徵。
實際應用
新穎性偵測在眾多產業中扮演著不可或缺的角色，其應用範疇廣泛且持續擴展，解決了許多傳統機器學習難以克服的實務痛點。
在網路安全領域，系統面臨的攻擊手法日新月異。傳統基於特徵碼的防毒軟體或入侵偵測系統只能防禦已知的威脅，對於零日攻擊往往束手無策。新穎性偵測技術透過學習正常網路流量、使用者登入行為或系統呼叫的模式，能夠在未知的惡意程式或異常存取模式出現時，即時發出警報。這使得資訊安全團隊能夠在威脅造成擴散前進行圍堵，為整體防護架構爭取寶貴的應對時間。
在工業製造與設備維護方面，預測性維護高度依賴新穎性偵測。工廠中的感測器會持續收集設備運轉時的震動、溫度、壓力等時間序列資料。由於設備故障的樣本通常極為稀少且難以收集，使用正常運轉資料訓練新穎性偵測模型成為主流作法。當設備出現初期磨損或微小異常時，感測器資料的底層特徵會偏離正常模式，系統便能提前預警，安排維護人員進行檢查，避免無預警停機造成的巨大產能損失。
醫療健康是另一個關鍵應用領域。在醫學影像分析中，疾病的表現形式可能千變萬化，且罕見疾病的病例數極少。新穎性偵測模型可以透過學習大量的健康組織影像，來識別出任何不符合健康模式的病變區域。這不僅有助於早期發現潛在的健康問題，也能輔助醫師將注意力集中在需要進一步檢查的異常部位，減輕醫療人員的閱片負擔，提升醫療診斷的整體效率與品質。
自動駕駛汽車的安全性也離不開新穎性偵測。在開放的道路環境中，車輛可能會遇到各種極端且不可預測的狀況，如奇裝異服的行人、罕見形狀的載貨卡車或未標示的施工區域。如果感知系統無法識別這些新穎物件，可能會導致錯誤的決策並引發嚴重的交通事故。因此，將新穎性偵測整合入自動駕駛的視覺系統中，使其在面對未知情況時能夠觸發警示並採取保守的安全策略，例如減速或要求人類駕駛接管，是當前自駕技術邁向高階自動化的重要課題。
除了上述領域，金融詐欺偵測也是一個經典的應用場景。信用卡交易或網路轉帳產生了海量的正常交易記錄，而詐欺手法卻不斷翻新。透過建立使用者正常消費行為的輪廓，新穎性偵測模型能夠即時攔截那些不符合歷史消費習慣的可疑交易，從而保護金融機構與消費者的財產安全。
常見誤區
在實作與應用新穎性偵測時，研究人員與工程師常會面臨一些觀念上的誤區與工程上的挑戰，若未妥善處理，可能會嚴重影響系統的實際表現。
首先，許多人容易將新穎性偵測與傳統的多元分類問題混淆。傳統分類模型依賴於均衡且標註完整的各類別資料，而新穎性偵測則主要處理只有單一類別正常資料可用的情境。試圖用多分類模型來解決新穎性偵測問題，通常會導致模型對未見過的類別產生過度自信的誤判。在模型評估階段，若仍使用分類準確率來衡量新穎性偵測模型，也將得到極度偏誤的結果。
其次，特徵工程的選擇對幾何與機率方法的影響巨大。在高維度資料空間中，距離計算會受到維度災難的影響，導致所有資料點之間的距離變得相似，使得區分正常與新穎樣本變得極度困難。因此，未經適當降維或特徵選擇就直接套用新穎性偵測演算法，往往無法獲得理想的效果。過度依賴原始像素或原始特徵，忽略了提取具有鑑別力的表徵，是許多專案初期常見的失敗原因。
再者，閾值的設定往往被過度簡化。在實際應用中，將連續的新穎性分數轉換為二元決策需要設定一個決策閾值。這個閾值的選擇直接關係到系統的偽陽性將正常誤認為新穎與偽陰性漏報新穎樣本比例。如果在開發階段僅依靠小規模驗證集來決定閾值，而忽略了實際營運環境中正常資料的波動範圍，將導致系統上線後出現大量的誤報，進而降低使用者的信任度，甚至造成警報疲勞。
另外，資料污染也是一個常見的盲點。我們通常假設訓練資料是純淨的、只包含正常樣本。然而在實務中，收集到的訓練資料往往不可避免地混入少量的異常或新穎樣本。如果模型對這些噪聲過於敏感，可能會將其學習為正常模式的一部分，從而削弱了偵測真正新穎事件的能力。針對這種情況，需要採用具備穩健性的演算法設計，確保模型能夠抵抗訓練資料中存在的少量雜訊。
與相關技術的比較
新穎性偵測經常與異常偵測以及分佈外偵測這兩個概念交互使用，儘管它們在應用場景與核心假設上存在著重要的差異。釐清這些概念有助於針對特定的業務需求選擇合適的技術方案。
異常偵測通常著眼於在一個給定的資料集中找出那些與多數樣本顯著不同的少數離群值。在這種情況下，資料集本身可能已經包含了異常樣本，演算法的目標是將它們挑選出來，這偏向於一種批次處理或離線分析的任務。相對而言，新穎性偵測更強調時間順序與線上推論：訓練資料被假設是乾淨的正常資料，演算法的目標是判斷後續串流輸入的新資料是否屬於相同的正常分布，這更具備即時監控的色彩。
分佈外偵測則多用於深度學習的分類任務中。在一個已經訓練好能夠識別多個已知類別的分類模型基礎上，分佈外偵測旨在評估輸入樣本是否不屬於任何一個已知類別。這可以視為新穎性偵測在多類別分類情境下的一種延伸。新穎性偵測通常只針對單一的正常分布進行建模，專注於判斷是否為正常；而分佈外偵測則需要處理多個已知分布的聯集，並且通常會與分類任務的信賴度預測相結合。
與零樣本學習相比，兩者的目標也有所不同。零樣本學習旨在讓模型能夠識別在訓練階段從未見過的類別，但這通常需要依賴額外的輔助資訊，例如類別的語意描述或屬性向量。模型嘗試在視覺特徵與語意空間之間建立對應關係，藉此推斷未見過的類別。而新穎性偵測的目標僅僅是辨識出樣本是未知的，並不強求對其進行具體的分類或命名，也不需要外部語意資訊的輔助。
此外，主動學習有時也會利用新穎性偵測的概念。在主動學習中，系統會挑選出最具資訊量的未標註樣本交由人類專家標註，而那些被新穎性偵測模型評估為高度新穎的樣本，往往也是模型最不確定、最需要人工介入的資料。
總結來說，新穎性偵測專注於建立對已知世界的穩健認知，並對未知保持敏感。理解它與其他相關技術的差異，有助於我們在面對實際的工程問題時，選擇最合適的演算法架構與評估指標，建構出更具智慧與韌性的機器學習系統。