行動識別 是什麼？
Action Recognition：行動識別 的完整解釋
從視頻中識別和分類人體或物體執行的動作，將視頻片段分配給預定義的動作類別。
核心概念
行動識別的基本定義很簡單：給定一段視頻，預測該視頻中發生的動作類別。例如，輸入一個 3 秒的視頻片段，輸出「踢足球」的概率最高。
與靜態圖像分類相比，行動識別的難點在於：
- 時間維度：必須分析視頻的全部幀，捕捉運動軌跡。靜態圖像分類沒有時間概念。
- 多尺度時間模式：有些動作快速（眨眼），有些緩慢（打太極）。
- 背景變化：同一動作可能在不同背景、光線、視角下執行。
- 外觀相似動作：「蹲」和「坐」的姿態外觀相似，但動作不同。
運作原理
雙流網絡（Two-Stream Networks）
雙流架構處理空間和時間信息分別：
- 空間流：處理單幀圖像，提取靜態信息（外觀、物體、場景）。通常是標準的圖像分類網絡（如 ResNet）。
- 時間流：處理光流或幀差，提取運動信息。光流表示像素間的運動向量。
兩個流的特徵在融合層結合（如平均或串接），進行最終分類。雙流的優點是可以分別優化兩種信息的提取。
三維卷積神經網絡（3D CNN）
3D CNN 直接在時空體積上進行卷積，一次性學習空間和時間信息。卷積核有三個維度：(height, width, time)。例如，3×3×3 卷積核同時考慮相鄰的 3 幀和 3×3 的空間窗口。
3D CNN 優點是端到端簡潔，缺點是計算成本高。為了效率，常採用分離卷積（先做 2D 空間卷積，再做 1D 時間卷積）。
光流特徵
光流是相鄰幀像素的運動向量。與原始幀差相比，光流更平滑，更好地表示運動信息。光流特徵通常預先計算，然後送入時間流網絡。光流計算本身是一個獨立的技術領域。
時間池化與聚合
視頻長度不固定，系統需要將可變長度視頻轉換為固定大小的特徵。方法包括：
- 幀採樣：固定採樣特定幀（如首尾幀），其他丟棄。簡單但可能丟失中間的重要動作。
- 池化：對所有幀的特徵進行最大或平均池化。簡單但無序。
- 時間卷積：對時間軸進行卷積，考慮幀序列的局部時間依賴。
- 循環網絡：使用 LSTM 或 GRU 依次處理各幀，維持時間狀態。
實際應用
體育分析
體育直播和訓練視頻中，系統自動識別球員的動作：射門、傳球、防守。分析可以生成統計報告、亮點集錦或提供實時注釋。例如，「在 03:25，勒布朗投籃命中」自動提取和標籤。
視頻搜索與推薦
用戶想找到所有「籃球扣籃」的視頻片段。視頻平台使用行動識別自動標籤所有視頻內容，然後用標籤進行檢索。這比基於文本描述更準確，因為文本可能遺漏或不準確。
監控與安全
監控系統使用行動識別檢測異常或風險動作：跌倒、打鬥、翻越圍欄。檢測到這些動作時，系統自動告警或通知安全人員。這在老年人照護、企業安全、交通安全等領域很有價值。
手勢識別與人機互動
AR/VR 和智能設備使用手部動作識別進行控制。例如，揮手關燈、豎起大拇指拍照、揮動進行遊戲操作。無需按鈕或遙控，直觀自然。
人體活動分析
醫療和健身應用識別患者或用戶的活動：站立、行走、坐著、躺著。用於監測老年人活動水平、檢測異常活動模式（如長時間不動可能表示跌倒）。
工業與製造
工業應用使用行動識別識別工人的操作：焊接、組裝、檢查。檢測操作流程是否正確，是否遵循安全規範。自動化生產線使用行動識別監控機器人動作的準確性。
常見誤區
誤區 1：「行動識別」等同「動作分類」，其他形式的識別不重要
實際上行動識別可以有不同的粒度和形式：粗粒度（識別主要活動如「運動」「靜止」），細粒度（具體動作如「籃球投籃」），多標籤（視頻同時包含多個動作），軟標籤（動作概率而非硬標籤）。不同應用需要不同的粒度。
誤區 2：所有動作的識別難度相同
實際上難度差異很大。外觀差異大的動作（如「跳躍」vs「站立」）容易識別。外觀相似的動作（如「蹲」vs「坐」或「走」vs「跑」）困難。需要不同的策略：簡單動作可用外觀信息，複雜動作需要時間信息。
誤區 3：更多時間幀總是更好
增加幀數增加計算成本。而且，某些動作用少數幀就足以識別（如「眨眼」），多幀不一定有幫助，反而增加噪聲。有效的幀採樣策略（選擇信息豐富的幀）往往比簡單的幀序列更優。
誤區 4：一個在大規模數據集上預訓練的模型可應用所有領域
在體育或日常活動上預訓練的模型，在特殊領域（如手術視頻、工業操作）可能表現差。原因是動作分佈不同，特殊領域的細微動作差異大。需要在目標領域的數據上微調。
與相關技術的比較
與「時間動作定位」的區別：行動識別假設輸入已經是單個動作的短視頻片段。時間動作定位的輸入是長視頻，需要同時找到動作的時間邊界和分類。
與「群體活動識別」的區別：行動識別通常識別單個人的動作。群體活動識別識別多人協作的活動（如「討論」「打籃球」）。
與「手勢識別」的區別：手勢識別是行動識別的特例，只關注手部動作。行動識別涵蓋全身或多部位的動作。
與「場景分類」的區別：場景分類判斷視頻發生的環境（「海灘」「辦公室」），通常基於靜止畫面。行動識別關注視頻中發生的活動，需要時間分析。