完整定義
時間卷積網路（TCN）是一種用卷積層而非遞迴層處理序列資料的架構。TCN通過擴張卷積（dilated convolution）和殘差連接，在保持計算效率的同時捕捉長期時間依賴。相比LSTM/GRU的遞迴性質，TCN天然支持完全並行化，訓練和推理速度更快。研究表明TCN在多數序列建模任務上性能與RNN相當或更優，特別是在時序預測、語言建模和機器翻譯中。
核心概念
TCN的核心創新是用卷積操作代替遞迴操作來建模序列。傳統卷積神經網路用於影像的空間特徵，TCN則應用卷積到時間維度。通過擴張卷積，TCN在不增加層數的情況下擴大感受野（receptive field），能看到更遠的歷史信息。
TCN的另一個特性是因果性（causality）：預測t時刻的值時，只能使用t時刻及之前的資料，不能使用未來資料。這通過因果填充（causal padding）實現：不使用卷積後移，而是在輸入前補充零或使用非對稱填充。
運作原理
擴張卷積（Dilated Convolution）
標準卷積在相鄰時間步驟間應用權重，擴張卷積在間隔的時間步驟間應用權重。擴張係數d決定了間隔大小。例如，3×3卷積核、擴張係數為2時，實際感受野為5（位置0、2、4、6、8）。
y(t) = Σᵢ w(i) · x(t - d·i)
其中d是擴張係數，i是卷積核中的位置。通過逐層增加擴張係數（1, 2, 4, 8, ...），TCN能以指數級擴張感受野。一個8層、擴張係數遵循2的冪次的TCN，最後一層感受野達到255，足以捕捉很長的時間依賴。
因果填充（Causal Padding）
為了保持因果性，TCN不能在卷積時向前看。實現方法是在時間軸前方填充零，使輸出與輸入時間對齊：
前向填充 = (kernel_size - 1) × dilation_rate
例如，kernel_size=3、dilation_rate=2時，前向填充2個時間步驟，確保輸出t只依賴於輸入0到t。
殘差連接（Residual Connection）
深層TCN（10+層）使用殘差連接解決梯度消失：
o(t) = Activation(Convolution(x) + x)
殘差連接提供了直接的梯度流通路徑，大幅改進深層網路的訓練。
完整TCN塊
一個典型的TCN塊包含：
- 卷積層（擴張卷積 + 因果填充）
- 啟動函數（ReLU或ELU）
- Dropout（防止過擬合）
- 重複第1-3步（通常2次）
- 殘差連接（如果通道數相同）或1×1卷積投影
實際應用
時序預測
TCN在股票、能源、交通流量等時序預測任務上與LSTM性能相當，但訓練速度快3-5倍。特別是在需要實時或接近實時預測的應用（如高頻金融交易）中，TCN的並行優勢凸顯。
語言建模和機器翻譯
TCN用於預測文本序列中的下一個詞，超越了傳統RNN的性能。在機器翻譯任務中，TCN結合注意力機制可以達到與RNN相當的性能但更快。
語音識別和生成
TCN處理聲譜圖序列進行語音識別，或從文本生成語音（TTS）。WaveNet（Google推出的神經音聲生成模型）採用因果擴張卷積生成高品質語音波形，是TCN最著名的應用。
信號處理
TCN用於生物信號處理（心電圖、腦電圖）、地震波分析、無線通信信號檢測等。並行性使其適合實時處理大量信號。
常見誤區
誤區一：TCN適合所有序列任務
TCN並非銀彈。在某些任務上（如機器翻譯中的超長句子或高度複雜的自然語言理解），LSTM/GRU/Transformer仍可能更優。TCN的優勢在於規模中等的任務和有並行化需求的場景。
誤區二：TCN的感受野無限大
雖然TCN通過擴張卷積快速擴張感受野，但感受野仍受網路深度限制。一個20層的TCN感受野有限，超過100層會遇到訓練困難。此外，扁平的感受野（只沿時間軸）不如RNN的動態依賴建模靈活。
誤區三：因果卷積會損害性能
因果填充引入的零填充可能看似浪費，實際上模型通過訓練學會利用有效信息。在許多實驗中，因果TCN性能與非因果卷積相當或更優（因為因果性防止了資訊洩露）。
誤區四：TCN就是用卷積代替RNN
這是過度簡化。TCN的設計包含多個精細調整：擴張係數的遞進策略、因果卷積、殘差連接、適當的初始化。不是簡單地將RNN換成CNN就能取得好效果。
與相關技術的比較
- 與LSTM/GRU的區別：TCN並行化更好、訓練更快，但缺乏動態調整感受野的能力；LSTM更適合需要長期交互的任務
- 與Transformer的區別：TCN的因果性限制使其不如Transformer靈活，但TCN計算複雜度更低；Transformer更適合需要全序列上下文的任務
- 與標準CNN的區別：TCN在時間軸上使用擴張卷積和因果填充，適合序列而非影像數據
- 與WaveNet的區別：WaveNet是TCN的一個著名變體，用於音聲生成；WaveNet增加了局部條件作用（local conditioning）和全局條件作用（global conditioning）機制
- 與自迴歸模型的區別：自迴歸（如ARIMA）假設依賴是線性的，TCN能捕捉非線性關係；TCN更靈活但參數更多
常見問題
因果性確保預測t時刻的值時只使用t及之前的資料。TCN通過因果填充實現：在卷積前在輸入序列的開頭填充足夠的零，使得卷積核永遠不會向前看。例如，kernel_size=3且dilation_rate=2時，在時間軸前方填充2個時間步驟的零，卷積輸出的t位置只對應輸入的0到t。這與標準卷積的對稱填充不同，確保了真正的因果性。
LSTM/GRU必須按時間順序計算，t時刻的輸出依賴t-1時刻的隱藏狀態，無法並行。TCN使用卷積，每個時刻的計算不依賴其他時刻（給定輸入），天然支持在時間維度的並行化。在GPU上，可以同時計算序列中多個時刻的卷積，而RNN必須逐個計算。這使TCN的訓練和推理速度快3-10倍，特別是在長序列上。
TCN的感受野是固定的，由網路架構（層數和擴張係數）決定。例如，一個8層的TCN，擴張係數為[1,2,4,8,16,32,64,128]，最後一層的感受野固定為255。這與LSTM形成對比，LSTM的有效感受野是動態的，模型可以學習有選擇性地關注近期或遠期信息。對於感受野需要動態調整的任務，LSTM/GRU可能更適合；對於感受野已知或固定的任務，TCN的預定義感受野優勢明顯。
Bai 等人 2018 年在多種序列任務上比較，簡單的 TCN 常常勝過 LSTM，有效記憶長度也更長。TCN 能平行訓練，但看得到的歷史長度受感受野限制，推論時要保留一段輸入。LSTM 用隱藏狀態逐步更新，適合資料一筆一筆進來的串流場景。實務上兩者都值得用自己的資料試。
Lea 等人 2016 年在影片動作切分與偵測的論文中提出 Temporal Convolutional Networks 這個名稱，用層層時間卷積處理影片特徵，其中一個版本使用擴張卷積。後來 Bai 等人 2018 年把因果卷積、擴張卷積加上殘差連接的通用序列架構也稱為 TCN，讓這個名稱廣為使用。
相關術語
本頁內容有提到，或屬於同一組主題的術語
來源
這個術語目前沒有標註外部來源。
其他格式：Markdown 版本