完整定義
時序Transformer是將Transformer自注意力機制應用於時間序列預測和分析的深度學習模型。Transformer最初用於自然語言處理，以其並行性強、長距離依賴學習能力而著稱。在時序預測領域，Transformer突破了RNN和LSTM的順序計算限制，支援平行處理整個序列，並通過自注意力學習序列中任意位置間的動態依賴。相比傳統的LSTM和TCN，時序Transformer在股票預測、能源負載、天氣預報等任務上展現優異性能，成為時序預測的新標準方法。
核心概念
時序Transformer的核心優勢在於自注意力機制。傳統LSTM處理序列時必須按時間順序逐步計算，中間狀態必須存儲和傳遞。Transformer拋棄遞迴，直接計算序列中任意兩個時間步驟間的相關性，支援完全的並行計算。
Trasnformer架構包含編碼器堆疊和解碼器堆疊（或僅編碼器用於分類/回歸），每層包含多頭自注意力和前饋網路，加上層正則化和殘差連接。時序Transformer往往簡化為編碼器結構，直接對時序輸入進行轉換。
運作原理
位置編碼
Trasnformer無遞迴結構，位置信息必須顯式編碼。使用正弦-餘弦位置編碼：
PE(pos, 2i) = sin(pos / 10000^(2i/d)) PE(pos, 2i+1) = cos(pos / 10000^(2i/d))
其中pos是位置，i是維度。這種編碼使模型能區分序列中的不同位置，捕捉相對位置關係。
多頭自注意力
Trasnformer使用多頭自注意力，讓模型同時關注序列的不同位置：
Attention(Q, K, V) = softmax(QK^T / √d_k) V
在時序預測中，查詢、鍵、值都來自同一序列（自注意力），使模型學習時間步驟間的依賴。多個注意力頭並行運行，每個頭捕捉不同的時間模式（如短期波動、季節性、趨勢）。
前饋網路
每層的多頭注意力之後是前饋網路（FFN），包含兩個線性變換和非線性啟動：
FFN(x) = ReLU(xW₁ + b₁)W₂ + b₂
FFN增加非線性，提升模型表達力。
層堆疊和正則化
Transformer堆疊多層（通常6-12層），每層包含自注意力、FFN，加上層正則化和殘差連接：
y = LayerNorm(x + MultiheadAttention(x)) y = LayerNorm(y + FFN(y))
殘差連接和層正則化大幅改進訓練穩定性，允許更深的網路。
實際應用
時序預測
Transformer在時序預測中性能優異。股票價格、匯率、能源負載、交通流量等預測任務中，Transformer超越LSTM和ARIMA。並行性使訓練快10倍，推理也快。多頭注意力自動學習複雜的時間依賴模式。
異常檢測
Transformer用於時序異常檢測。編碼器學習正常時序模式，解碼器重建序列。異常點會導致高重建誤差。或直接用Transformer學習異常分類。
長程依賴學習
Transformer在需要捕捉非常長期依賴的任務上優於RNN。如股票價格可能受3個月前的宏觀事件影響，Transformer的自注意力可直接建立這種長期聯繫，而LSTM則必須通過所有中間時步驟傳遞信息，易出現梯度消失。
多變量時序建模
Transformer天然支援多變量時序。股票預測中可同時考慮價格、成交量、多個技術指標，Transformer自動學習變量間的時間關係。
常見誤區
誤區一：Transformer永遠比RNN好
儘管Transformer在許多任務上優於RNN，但不是絕對的。在小資料集上，Transformer因參數多易過擬合；RNN反而表現更好。Transformer需要足夠的數據（通常千級以上時間步驟）才能發揮優勢。資料有限時，LSTM可能更實用。
誤區二：位置編碼是固定不變的
原始Transformer的位置編碼是固定的正弦-餘弦函數，不通過訓練學習。但有研究表明學習的位置編碼在某些任務上更優。另外，位置偏差編碼（position bias）在注意力中引入相對位置信息，也改進了性能。現代實現中位置編碼往往可學習。
誤區三：自注意力計算成本不高
自注意力複雜度為O(n²)，其中n是序列長度。對長序列（數千或更長），計算和記憶成本爆炸式增長。稀疏Transformer、線性Transformer等變體被提出來降低複雜度。在實務中，長序列預測往往需要特殊優化或分割策略。
誤區四：Transformer是黑盒無法解釋
注意力權重可視化能在一定程度上解釋Transformer的決策。可視化某一時刻的注意力權重分佈，了解模型關注了哪些歷史時刻。雖然不如簡單模型直觀，但Transformer遠比深度RNN更可解釋。
與相關技術的比較
- 與LSTM的區別：LSTM順序計算，Transformer並行計算；Transformer更快但需更多數據
- 與TCN的區別：TCN也支援並行，但Transformer的自注意力比固定感受野卷積更靈活；Transformer學習更複雜的動態依賴
- 與GRU的區別：GRU輕量級，Transformer更重型；參數數量和計算成本都高得多
- 與標準RNN的區別：RNN梯度消失，Transformer無此問題；Transformer能捕捉更長的依賴
- 與統計模型（ARIMA）的區別：統計模型基於數學假設，Transformer數據驅動；Transformer靈活但解釋性低
常見問題
純Transformer的O(n²)複雜度使超長序列的計算成本和記憶成本不可承受。應對策略包括：（1）分割序列，用滑動窗口逐段處理，如只用過去100個時間步驟預測未來；（2）稀疏注意力，只計算特定位置間的注意力（如局部注意力+全局注意力）；（3）線性Transformer變體，將自注意力複雜度降低到O(n)；（4）低秩近似，用低秩矩陣近似完整注意力矩陣。實務中，分割序列是最簡單實用的方法。
位置編碼至關重要。沒有位置編碼，Transformer對序列重排列不敏感，無法區分時間順序。正弦-餘弦位置編碼的特性：（1）為不同位置生成不同向量；（2）相對位置有規律（位置i和j的編碼向量內積決定於相對距離j-i）。這使模型能學習相對時間關係。實驗表明，用固定編碼訓練的模型推理時泛化到不同序列長度的能力強於可學習編碼。選擇合適的編碼方案對性能影響顯著。
標準Transformer（如NLP中的BERT）有編碼器和解碼器，輸入是詞序列，輸出是詞表上的概率。時序Transformer通常採用簡化架構：只有編碼器，輸入是時間序列數值，輸出是預測值或異常分數。某些變體如Informer使用稀疏注意力和金字塔結構降低複雜度。另外，時序Transformer往往在attention層後加線性層直接輸出預測，而非複雜的解碼過程。設計應根據具體預測任務（點預測、區間預測、概率預測）靈活調整。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式：Markdown 版本