啟動圖（Activation Map）是什麼？

啟動圖是卷積神經網路中，輸入資料經過卷積與啟動函數處理後所輸出的多維度特徵矩陣。

核心概念

啟動圖是深度學習，特別是卷積神經網路領域中一個至關重要的基礎概念。當我們將一張影像或任何形式的多維矩陣資料輸入到卷積神經網路時，這些資料會經過一系列隱藏層的處理。在這些隱藏層中，卷積層負責利用多個不同的卷積核來提取資料的局部模式。當輸入資料與這些卷積核進行數學上的卷積運算後，會產生一個全新的矩陣，這個矩陣隨後會通過一個非線性啟動函數，例如修正線性單元，所得到的最終輸出結果便稱為啟動圖。

從資料結構的角度來看，啟動圖是一個多維度的張量。對於二維影像資料，啟動圖通常具有高度、寬度以及通道數這三個維度。高度與寬度代表了特徵在空間上的分佈情況，而通道數則對應於該層所使用的卷積核數量。每一個通道都可以視為一個特定特徵的偵測器，它所產生的二維矩陣紀錄了該特徵在輸入資料各個空間位置上的強弱程度。數值越高，代表該位置與卷積核所尋找的模式越吻合，也就是神經元在該區域被強烈啟動。

理解啟動圖的核心在於認知到它是一種抽象化的特徵表示。在網路的極淺層，啟動圖通常捕捉到的是非常基礎的視覺元素，例如水平邊緣、垂直邊緣、簡單的顏色對比或是特定的紋理。隨著網路層數的加深，啟動圖所代表的特徵會變得越來越抽象且具有高階的語義資訊。深層的啟動圖可能不再對單純的邊緣產生反應，而是對特定的物件部位，例如車輪、貓的耳朵或是人臉的輪廓產生強烈的啟動信號。這種由淺入深、由具象到抽象的特徵提取過程，正是卷積神經網路能夠處理複雜視覺任務的關鍵所在。

此外，啟動圖也體現了分散式表示的精神。一個複雜的物件通常不會僅僅被單一個通道的啟動圖所捕捉，而是由多個通道的啟動圖共同組合來表示。這種分散式的特徵編碼方式賦予了神經網路強大的泛化能力與魯棒性，使其能夠在面對不同角度、光照變化或部分遮擋的物件時，依然能夠透過啟動圖中穩定的特徵組合來進行正確的判斷。

運作原理

要深入探討啟動圖的運作原理，必須從卷積層與啟動函數的數學交互作用開始解析。在卷積神經網路中，每一個卷積層都包含了一組可學習的權重矩陣，也就是卷積核。運算過程中，卷積核會在輸入資料的空間維度上進行滑動，每次滑動都會計算卷積核與其覆蓋區域內的輸入數值之間的內積。這個內積的結果代表了該局部區域與卷積核所定義模式的相似度。

當滑動視窗走遍整個輸入矩陣後，會生成一個初步的特徵矩陣。然而，純粹的卷積運算是一種線性轉換。如果神經網路只包含線性轉換，無論堆疊多少層，其整體的表達能力依然等同於單一的線性層，無法處理現實世界中高度非線性的複雜問題。因此，必須在卷積運算之後引入非線性啟動函數。

修正線性單元是目前廣泛使用的啟動函數之一。它的數學定義非常簡單，即保留正數值，並將所有負數值轉換為零。當初步的特徵矩陣通過修正線性單元後，所有產生負面反應的區域都會被抑制，只有產生正面反應的區域會被保留並傳遞到下一層。這個經過非線性過濾後的矩陣，就是我們所說的啟動圖。修正線性單元的引入解決了梯度消失的問題，也促成了神經網路的稀疏啟動特性，這意味著在任何給定的時間點，只有少數的神經元會被高度啟動，這與生物神經系統的運作方式有著某種程度的相似之處。

啟動圖的另一個重要原理與感受野的概念息息相關。感受野是指啟動圖中的某一個單一像素值，所對應到的原始輸入影像的區域大小。在網路的淺層，一個像素值可能只受到原始影像中一個很小的局部區域影響。但是，隨著網路層數的增加，並伴隨著池化層或大步幅卷積所帶來的降維操作，深層啟動圖中的單一像素值將會擁有較大的感受野，甚至覆蓋整張原始影像。

這種感受野的擴張機制，解釋了為什麼深層啟動圖能夠捕捉到全域的、高階的語義特徵。因為深層網路中的神經元已經不僅僅是觀察一個極小的局部，而是整合了來自廣泛區域的資訊。因此，深層啟動圖的空間解析度雖然通常遠低於原始影像，但每一個空間位置所蘊含的語義資訊量卻十分豐富。每個通道的啟動圖本質上就是在描繪某種複雜高階特徵在整個輸入空間中的分佈，這為後續的全連接層或分類器提供了區別性的決策依據。

實際應用

啟動圖在深度學習的實際應用領域中扮演著不可或缺的角色，其影響力遠遠超出了單純的中間計算結果。廣為人知的應用之一便是在模型可解釋性與視覺化分析方面。長久以來，深度神經網路常被批評為黑盒子，開發者難以理解模型做出特定預測的依據。透過提取並視覺化卷積層的啟動圖，研究人員可以直觀地觀察網路在不同層次學習到了什麼特徵。

例如，在影像分類任務中，開發者可以檢視模型對一張圖片進行預測時所產生的啟動圖。如果發現深層啟動圖的高亮區域確實集中在目標物件的面部特徵或身體輪廓上，就能增加對模型判斷邏輯的信心。相反地，如果啟動圖顯示模型主要是根據背景來判斷，這就暴露了模型可能學習到了無關的背景特徵，提示開發者需要收集更多樣化的訓練資料或調整資料擴增策略來進行模型除錯。

基於啟動圖的可解釋性研究，衍生出了許多進階的視覺化技術。類別啟動圖技術利用全局平均池化層連接最後一個卷積層的啟動圖，能夠定位出影像中導致模型做出特定分類決策的關鍵區域。而梯度加權類別啟動圖則進一步結合了反向傳播的梯度資訊，對各個通道的啟動圖進行加權組合，即使在沒有全局平均池化層的網路架構中，也能產生熱力圖。這些技術在醫療影像輔助診斷中具有應用價值，例如系統能預測影像異常並透過啟動圖標示出模型關注的具體位置，提升了診斷分析的參考價值。

除了可解釋性，啟動圖也是許多複雜電腦視覺任務的基礎素材。在物件偵測演算法中，模型會先透過主幹網路提取整張影像的深層啟動圖，然後在這些啟動圖上應用區域提議網路來尋找潛在的物件邊界框。因為深層啟動圖已經包含了語義與空間資訊，這使得物件偵測的運算更加順利。同樣地，在語義分割任務中，模型也需要利用多個尺度的啟動圖進行特徵融合，以將每一個像素分類到對應的物件類別。

在遷移學習的場景下，預先訓練好的模型所生成的啟動圖常被當作通用的特徵提取器。當面對一個資料量較小的新任務時，我們可以將新資料輸入到預訓練模型中，截取某個深層的啟動圖作為特徵向量，然後訓練一個簡單的分類器。這種做法利用了網路在前期資料上學習到的通用特徵表示能力，是解決實務中資料匱乏問題的實用策略。

常見誤區

在學習和應用啟動圖的過程中，從業者常常會陷入一些概念上的誤區，這些誤會可能會導致對模型行為的解讀偏差或不當的架構設計。首先，常見的誤區是將啟動圖與注意力機制完全畫上等號。雖然這兩者都涉及資訊的加權和聚焦，但本質上有所不同。啟動圖是卷積運算與非線性啟動的直接產物，它反映的是特徵存在的強度；而注意力機制通常涉及一個額外的子網路來計算注意力權重，並用這些權重來重新調整特徵圖的響應。雖然啟動圖可以作為計算注意力權重的基礎，但兩者在概念層次和運算邏輯上應予區分。

另一個普遍的誤解是過度擬人化單一通道的啟動圖。人們往往期望在深層網路中找到一個專門負責偵測特定部位的通道。雖然在某些情況下確實能觀察到單一通道對特定語義有強烈反應，但神經網路更常採用分散式表示。這意味著一個概念可能是由許多個通道的啟動圖以特定的比例組合而成。因此，孤立地觀察單一通道的啟動圖並試圖賦予其明確的人類可理解含義，往往會導致片面或過度簡化的結論，忽略了特徵之間複雜的非線性交互作用。

此外，許多人會忽略啟動圖在空間解析度上的變化，錯誤地將深層啟動圖的單一像素直接對應到原始影像的單一像素。在典型的卷積神經網路中，由於池化層的降採樣作用，深層啟動圖的空間尺寸會顯著縮小。深層啟動圖中的每一個點，實際上代表的是原始影像中一個廣大的感受野區域。因此，在進行特徵定位或物件分割時，不能直接將深層啟動圖疊加回原始影像，必須考慮到降採樣帶來的空間位移與尺度差異，通常需要透過上採樣等技術來恢復空間細節。

最後一個常見的誤區是混淆啟動圖與特徵圖這兩個名詞。在許多非正式的討論或文獻中，這兩個詞彙經常被交替使用，這造成了一定程度的語義混亂。嚴格來說，特徵圖指的是卷積層進行線性內積運算後、尚未經過非線性啟動函數處理前的原始輸出矩陣；而啟動圖則是特徵圖經過啟動函數轉換後的結果。雖然在宏觀分析中這種區分可能不具決定性影響，但在設計新的網路架構、推導反向傳播梯度或是實作底層運算邏輯時，清楚分辨線性特徵與非線性啟動狀態是必要的。

與相關技術的比較

為了掌握啟動圖在人工智慧技術體系中的定位，將其與其他相近的技術概念進行比較是有幫助的。首先，啟動圖經常被拿來與顯著圖進行對比。顯著圖通常用於電腦視覺領域，旨在模擬人類視覺系統，找出影像中最能吸引注意力的區域。顯著圖的生成往往基於底層的對比度、顏色或紋理特徵，它強調的是視覺上的突兀性。相比之下，深層網路產生的啟動圖則是由任務導向的損失函數驅動學習而來的。啟動圖高亮的區域不一定是視覺上最突出的部分，而是對模型完成特定任務具有決策價值的特徵區域。兩者雖然都能產生視覺化的輸出，但背後的驅動力與代表的意義並不相同。

其次，啟動圖與在自然語言處理領域廣泛應用的注意力圖有著結構上的差異。卷積神經網路中的啟動圖是建立在局部連結與權重共享的基礎上，每個位置的啟動值只依賴於其局部感受野內的資訊。而基於 Transformer 架構的自注意力圖，則是透過計算輸入序列中每一個元素與所有其他元素之間的關聯性來生成的，它捕捉的是全局的依賴關係。雖然兩者都包含了矩陣形式的中間表示，但卷積啟動圖適合處理具有局部空間關係的資料如影像；而注意力圖則在處理長距離依賴的序列資料上表現突出。

我們也需要比較啟動圖與潛在空間表示。在自編碼器或生成對抗網路中，輸入資料會被壓縮成一個低維度的潛在向量。這個潛在向量是整個輸入資料的壓縮總結，通常失去了空間維度的結構資訊。相對而言，卷積層的啟動圖保留了空間結構，它是一個三維張量。這種保留空間結構的特性，使得啟動圖適合用於需要空間定位的任務，例如物件偵測或分割，這是單純的低維潛在向量所難以提供的。

最後，從硬體部署與資源管理的角度來看，啟動圖的大小與記憶體頻寬有著直接的關聯。在進行模型推論時，每一層的啟動圖都需要被暫存於記憶體中以供下一層讀取。相較於網路模型的權重參數，啟動圖往往佔用較多的記憶體空間，這在資源受限的邊緣設備上是一個需要考量的因素。因此，許多量化或剪枝技術的研究目標之一就是在不損失太多模型精度的前提下，降低啟動圖的精度或減少通道數量，從而減少記憶體存取並提升運算效率。針對啟動圖特性的系統級管理是人工智慧應用佈署的實務考量之一。