梅爾頻譜圖（Mel Spectrogram）

核心概念

梅爾頻譜圖的核心概念在於梅爾尺度 (Mel Scale)。梅爾尺度是一種非線性頻率尺度，它試圖模擬人類聽覺系統對不同頻率的感知。人類對低頻率的變化比高頻率更敏感。因此，梅爾尺度在低頻率範圍內更精細，在高頻率範圍內則較粗略。將頻率轉換到梅爾尺度，可以更好地捕捉音訊中對人類聽覺重要的特徵。

頻譜圖 (Spectrogram) 是另一重要概念。頻譜圖是一種視覺表示，它顯示了音訊訊號在不同時間點上的頻率成分。它通過將音訊訊號分割成短時窗，然後對每個時窗進行傅立葉變換，得到該時窗的頻率成分。頻譜圖的橫軸表示時間，縱軸表示頻率，顏色深淺表示該頻率成分的強度。

梅爾頻譜圖結合了梅爾尺度和頻譜圖的概念，它首先計算音訊訊號的頻譜圖，然後將頻率軸轉換到梅爾尺度上，得到梅爾頻譜圖。

運作原理

生成梅爾頻譜圖的步驟如下：

1. 預處理 (Pre-processing): 包括音訊訊號的預加重 (Pre-emphasis) 和分幀 (Framing)。預加重可以增強高頻成分，分幀將音訊訊號分割成短時窗，通常使用漢明窗 (Hamming window) 或其他窗函數來平滑時窗的邊緣。
2. 傅立葉變換 (Fourier Transform): 對每個時窗進行傅立葉變換，得到該時窗的頻率成分。通常使用快速傅立葉變換 (FFT) 來加速計算。
3. 功率譜 (Power Spectrum): 計算每個頻率成分的功率，得到功率譜。功率譜表示每個頻率成分的能量。
4. 梅爾濾波器組 (Mel Filter Bank): 使用一組梅爾濾波器來對功率譜進行濾波。梅爾濾波器組是一組三角形濾波器，它們在梅爾尺度上均勻分佈。每個濾波器的中心頻率對應於梅爾尺度上的一個點。濾波器的輸出是功率譜與濾波器響應的乘積。
5. 對數運算 (Logarithm): 對濾波器的輸出取對數，得到梅爾頻譜。對數運算可以壓縮數值範圍，並使數據更符合人類聽覺感知。
6. 離散餘弦變換 (Discrete Cosine Transform, DCT): 可選步驟，對梅爾頻譜進行離散餘弦變換，得到梅爾頻率倒譜係數 (Mel-Frequency Cepstral Coefficients, MFCCs)。MFCCs 是一種常用的音訊特徵，它對梅爾頻譜進行降維，並提取出更具判別性的特徵。

實際應用

梅爾頻譜圖廣泛應用於以下領域：

• 語音辨識 (Speech Recognition): 梅爾頻譜圖是語音辨識系統中常用的音訊特徵。它可以有效地捕捉語音訊號的聲學特徵，並提高語音辨識的準確性。
• 音樂分析 (Music Analysis): 梅爾頻譜圖可用於音樂的自動分類、音樂情感識別、音樂結構分析等。
• 音訊檢索 (Audio Retrieval): 梅爾頻譜圖可用於音訊的相似性搜索、音訊事件檢測等。
• 語音合成 (Speech Synthesis): 梅爾頻譜圖可用於語音合成系統中，生成更自然、更逼真的語音。
• 環境聲音辨識 (Environmental Sound Recognition): 梅爾頻譜圖可用於辨識環境中的聲音，例如汽車喇叭聲、狗叫聲等。

常見誤區

• 梅爾頻譜圖與頻譜圖相同： 雖然兩者都是音訊訊號的時頻表示，但梅爾頻譜圖的頻率軸是梅爾尺度，而頻譜圖的頻率軸是線性尺度。梅爾頻譜圖更符合人類聽覺感知。
• 梅爾頻譜圖是唯一的音訊特徵： 梅爾頻譜圖是一種常用的音訊特徵，但並非唯一的音訊特徵。還有其他音訊特徵，例如線性預測編碼 (Linear Predictive Coding, LPC)、感知線性預測 (Perceptual Linear Predictive, PLP) 等。
• 梅爾頻譜圖可以直接用於機器學習模型： 梅爾頻譜圖通常需要經過進一步的處理，例如歸一化、標準化等，才能更好地用於機器學習模型。此外，也可以使用 MFCCs 等特徵來代替梅爾頻譜圖。
• 梅爾頻譜圖的參數設置不重要： 梅爾頻譜圖的參數設置，例如 FFT 窗口大小、梅爾濾波器組的數量等，會影響梅爾頻譜圖的質量和性能。需要根據具體應用場景選擇合適的參數。
• 梅爾頻譜圖可以完美地表示所有音訊訊號： 梅爾頻譜圖是一種簡化的音訊訊號表示，它無法捕捉音訊訊號的所有細節。對於某些複雜的音訊訊號，可能需要使用更複雜的音訊特徵或模型。