搜尋意圖： 如果你在找「自動語音辨識 是什麼」或「自動語音辨識 和相近概念差在哪」，先看這頁的短定義、完整說明與延伸比較。
TL;DR： 將人類口語音頻訊號自動轉換為文字的技術，是語音 AI 的基礎元件，廣泛應用於語音助理、會議記錄、字幕生成等場景。
實用情境： 適合用在閱讀 AI 文章、產品文件或和同事討論時，先用一頁快速對齊概念。
下一步： 先讀完定義，再往下看延伸比較與對應工具，把概念轉成實際應用。
將人類口語音頻訊號自動轉換為文字的技術，是語音 AI 的基礎元件，廣泛應用於語音助理、會議記錄、字幕生成等場景。
自動語音辨識是語音 AI 領域歷史最悠久、應用最廣泛的技術之一，從 1952 年貝爾實驗室的 Audrey 系統（只能辨識 10 個數字）到今天能準確辨識多語言連續語音的端對端深度學習系統，經歷了數十年的技術演進。
傳統 ASR 架構（HMM-GMM 時代）
在深度學習普及之前，ASR 系統由以下元件組成：
- 聲學特徵提取：將音頻波形轉換為 MFCC（梅爾頻率倒譜係數）等特徵序列。
- 聲學模型（Acoustic Model）：通常使用隱馬可夫模型（HMM）建模語音的時序結構，高斯混合模型（GMM）建模每個狀態的聲學特徵分布，合稱 HMM-GMM 系統。
- 語言模型（Language Model）：N-gram 統計語言模型，根據詞序列的統計概率限制解碼結果，提升辨識的流暢度和語義合理性。
- 解碼器：結合聲學模型和語言模型的機率，使用 Viterbi 演算法或 Beam Search 找到最可能的詞序列。
深度學習 ASR 架構
深度學習帶來了 ASR 的技術躍升：
DNN-HMM：以深度神經網路（DNN）替換 GMM 建模聲學特徵，大幅提升辨識準確率。
CTC（Connectionist Temporal Classification）：允許神經網路直接輸出字元序列，無需框架對齊（Frame Alignment），簡化了訓練流程。代表系統：DeepSpeech 系列。
Attention-based Encoder-Decoder：以序列到序列（Seq2Seq）架構，編碼器處理音頻特徵，解碼器自迴歸生成文字輸出，注意力機制對齊音頻與文字。
Transformer ASR：將 Transformer 架構引入 ASR，Conformer（Convolution-augmented Transformer）結合卷積局部建模與 Transformer 全局建模，是目前主流架構之一。
Whisper（OpenAI，2022）：在 68 萬小時多語言語音資料上預訓練的端對端 ASR 模型，支援 99 種語言，在零樣本設置下達到接近人類水準的辨識率，並同時支援語音翻譯（直接從語音翻譯到英文）。
評估指標：字錯率（WER）
ASR 的主要評估指標是字錯率（Word Error Rate，WER）： WER = (替換數 S + 刪除數 D + 插入數 I) / 參考詞數 N × 100%
WER 越低表示辨識效果越好。現代 ASR 系統在特定場景（如乾淨的英文演講）上 WER 已可低於 5%，接近人類轉寫的錯誤率。但在強背景噪音、重口音、多人交叉發言等困難場景下，WER 仍可能大幅上升。
挑戰與難點
- 口音與方言：同一語言的不同腔調對 ASR 系統是重大挑戰，訓練資料中不平衡的口音分布會導致特定口音辨識效果差。
- 低資源語言：許多語言缺乏大量標注語音資料，難以訓練高品質 ASR 系統。無監督預訓練方法（如 wav2vec 2.0）的出現改善了這個問題。
- 說話人重疊（Speaker Diarization）：多人同時說話或交替發言的場景，需要同時解決「誰在說話」和「說了什麼」兩個問題。
- 即時辨識的延遲：串流 ASR 需要在接收部分音頻的同時輸出文字，對模型架構和系統工程都有額外要求。
主要應用場景
- 語音助理：Siri、Alexa、Google Assistant 的核心技術。
- 會議記錄與字幕：自動生成視訊字幕、會議記錄，提升內容可存取性（a11y）。
- 語音介面：讓使用者透過說話操作設備，對無障礙設計尤為重要。
- 語音翻譯：先 ASR 將語音轉為文字，再進行機器翻譯，或直接以端對端模型（如 Whisper）從語音翻譯到目標語言文字。
- 電話客服分析：自動將客服通話轉錄並分析情緒、關鍵詞，提升服務品質。
常見問題
ASR 和 TTS 有什麼關係？它們可以組合使用嗎？
ASR（Automatic Speech Recognition，自動語音辨識）和 TTS（Text-to-Speech，文字轉語音）是互補的語音 AI 技術，方向相反：ASR 將語音轉換為文字，TTS 將文字轉換為語音。兩者組合是語音對話系統的核心架構：使用者說話 → ASR 辨識成文字 → NLU 理解意圖 → 系統生成回應文字 → TTS 合成語音播放。現代語音助理（如 Siri、Alexa）都採用這樣的管線架構。近期也出現了端對端的語音對話模型（如 GPT-4o 語音模式），試圖直接建模語音到語音的轉換，以降低延遲並保留說話人的情感韻律資訊，但 ASR+TTS 管線仍是大多數商業系統的主流選擇。
Whisper 模型和傳統 ASR 相比有什麼優勢？
Whisper 是 OpenAI 於 2022 年發布的開源 ASR 模型，其主要優勢在於幾個方面。第一，多語言支援：一個模型同時支援 99 種語言，無需為每種語言訓練獨立模型。第二，零樣本泛化能力強：在 68 萬小時多樣化語音資料（包含多種口音、背景噪音、說話風格）上訓練，對未見過的說話人和場景有較強的泛化能力。第三，同時支援語音翻譯：可以直接從非英語語音翻譯到英語文字，無需 ASR + 機器翻譯兩步驟。第四，完全開源：社群基於 Whisper 開發了許多優化版本（如 faster-whisper、WhisperX），支援更低延遲的應用場景。局限性在於推理速度相對較慢（大模型），在嚴格即時辨識場景下需要量化或其他優化。
字錯率（WER）低就代表 ASR 夠好用了嗎？
WER 是重要的評估指標，但不是衡量 ASR 是否「夠好用」的唯一標準。在實際應用中，還需要考慮以下面向：首先，不同詞的錯誤代價不同，辨識錯「的」「了」等虛詞和辨識錯專有名詞（如品牌名稱、人名、術語）的影響截然不同，而 WER 等同對待所有詞的錯誤。其次，延遲（Latency）對即時應用至關重要，WER 很低但延遲高的模型可能不適合實時對話。第三，特定領域（如醫療、法律）的術語辨識率需要額外評估，通用 WER 不能反映這些場景的實際效果。第四，說話者適應性（Speaker Adaptation）也很重要，對非標準口音或語速的適應能力需要在目標用戶群上單獨測試。因此，評估 ASR 是否適合特定應用，應在目標場景的代表性測試集上進行完整的用戶驗收測試，而不只看整體 WER 數字。