手部姿勢識別（Hand Gesture Recognition）是什麼？

識別單幀圖像中的手部形狀，分類為預定義的手勢。例如，識別「和平手勢」（兩根手指張開）、「點讚」（豎起大拇指）、「拳頭」（握拳）。靜態手勢通常由手指位置和手掌方向定義。

分析視頻中手部動作序列，識別手語詞彙或連續手勢。例如，手語「你好」是一個特定的運動軌跡。同一手部形狀配合不同運動可能表示不同含義。

運作原理

首先定位圖像中的手部區域。手部檢測通常使用目標檢測模型（如 YOLO、Faster R-CNN），輸出手部邊界框。在視頻中，使用追蹤算法（如 DeepSORT）連續追蹤手部。

在手部區域內，檢測手指和手掌的關鍵點。常用的模型有 21 點模型（5 個手指，每個指尖 1 點，指根部和掌根部各若干點）。系統輸出每個關鍵點的坐標（2D 或 3D），組成骨骼結構。

關鍵點檢測方法類似於人體姿態估計：使用熱力圖或迴歸預測關鍵點位置。

基於關鍵點的空間配置，進行手勢分類。例如，計算手指間角度、手指張開度、手掌方向等特徵，輸入分類器判斷手勢類型。

特徵提取

從 21 個關鍵點計算：

• 手指長度（每根手指的骨骼段長度）
• 手指角度（相鄰骨骼段的夾角）
• 手指間距離（不同手指尖間的距離）
• 手掌方向（法向量方向）
• 手指開閉程度（張開度）

分類器

使用機器學習分類器（SVM、隨機森林）或神經網絡進行分類。由於特徵維度不高（通常 20-50），簡單分類器通常足夠。

動態手勢涉及手部運動軌跡。方法包括：

• 軌跡模板匹配：預先錄製標準手勢軌跡，計算實時軌跡與模板的相似度。
• 時間序列模型：使用 LSTM 或 HMM 建模手部運動序列，識別手語詞彙。
• 3D CNN：對手部區域的視頻幀進行 3D 卷積，直接學習時空手勢特徵。

實際應用

VR 遊戲使用手勢識別進行無控制器操作。玩家用手勢指揮虛擬角色、拿取物體、投擲物品。VR 設備（如 Meta Quest）集成手勢識別，跟蹤玩家的實時手部動作。

智能家居設備（如電視、空調）使用手勢控制。用戶無需遙控器，用簡單手勢即可操作：揮手打開燈、豎起大拇指調高音量、轉動手腕調整溫度。

為聾啞人士服務，系統實時識別手語視頻，翻譯為文字或語音。這涉及動態手勢識別，因為手語是由一系列連貫手勢組成的。高準確度要求對手指細微動作的敏感性。

對於行動不便的患者，手勢操作提供無觸碰的人機互動方式。例如，患者用簡單手勢控制輪椅方向、調節病床高度或呼叫護士。

視頻會議應用使用手勢識別增強互動：識別舉手發言、拍手掌聲、投票手勢等，實現更豐富的非語言交流。

某些系統使用動態手勢（個人簽名筆跡或習慣手勢）進行身份驗證。複制他人獨特的手勢序列比複制靜態手勢困難。

常見誤區

靜態手勢只需識別單幀的手部形狀，較簡單。動態手勢涉及時間序列和軌跡，引入額外複雜性：時間速度變化、個人習慣差異（有人揮手快有人慢）、多種軌跡實現相同含義。因此動態識別精度往往低於靜態。

即使背景簡單，手部檢測仍需精確定位邊界，特別是手指較細時容易被漏檢。背景複雜時問題更嚴重。必須使用專門的手部檢測模型，而非簡單的背景減除。

關鍵點精度直接影響計算的手勢特徵品質。即使分類器再強，輸入特徵錯誤也難以補救。例如，關鍵點誤差 10 像素，可能導致計算的手指角度完全不同，分類失敗。精度要求取決於應用：虛擬現實可容忍 5-10 像素誤差，手語翻譯需要亞像素精度。

單手識別相對簡單。雙手識別需要：區分左右手、處理手部重疊遮擋、考慮兩手間的相對位置和互動。複雜度顯著增加，需要特殊設計的模型。

與相關技術的比較

• 與「人體姿態估計」的區別：人體姿態估計涉及全身 17-25 個點，手勢識別專注於手部 21 個點。手部動作的細微性比身體動作高，精度要求更嚴。

• 與「手勢識別」的區別：術語略有不同，但通常手勢識別指分類預定義的手勢，手部姿勢識別指識別手指位置和配置。兩者概念相近，都涉及手部形狀和位置的分析。

• 與「手語識別」的區別：手語識別是動態手勢識別的特例，涉及文化和語言層面，需要識別手語詞彙和語法。手勢識別更廣泛，包括非語言的手勢（指示、控制）。

• 與「光學追蹤」的區別：光學追蹤（如 Leap Motion）使用紅外傳感器捕捉手部運動，直接得到精確的三維數據。視覺手勢識別從 RGB 圖像推導，精度略低但更通用（無需專門硬件）。