深度混合 是什麼？
Mixture of Depths — 深度混合 的完整解釋
深度混合是一種模型架構，它結合了多個不同深度的子網路，以提升模型的表達能力和泛化能力，並允許模型根據輸入動態調整其深度。
容易混淆
深度混合 vs 專家混合模型
深度混合：決定某個 token 要不要走更深的層。 專家混合模型：決定某個 token 要交給哪個專家。 最關鍵的區別：前者是選計算深度，後者是選計算分工。
深度混合 vs 一般 Transformer
深度混合：不是每個 token 都走一樣深。 一般 Transformer：大多數 token 會經過相同的層數。 最關鍵的區別：前者有動態深度，後者是固定深度。
記住這句就好
簡單的少算幾層，難的再多算幾層。
實際案例
長文本摘要
像標點、停用詞這類容易判斷的 token 可以快速通過，真正影響意思的片段才值得更深處理。
客服對話模型
簡單寒暄不用每層都重算，遇到關鍵需求描述時才投入更多計算。
算法與應用
它的核心是動態分配深度，讓計算量跟輸入難度靠近。 這種做法常跟稀疏路由、效率優化和大模型推論一起討論。 實務上要平衡速度、穩定性和精度。
情境判斷
Q1（情境題）： 如果所有 token 都很重要，深度混合還有優勢嗎？
→ 會縮小。若大多數 token 都很難，動態深度的節省效果就不明顯。
Q2（情境題）： 深度混合是不是一定比固定深度更快？
→ 不一定。要看路由開銷、硬體實作和輸入分布，省下的計算不一定完全抵掉額外成本。
相關術語
常見問題
深度混合會影響準確率嗎？
可能會，但設計得好時，效率提升和精度下降之間可以取得平衡。
它跟剪枝有什麼差別？
剪枝是移除模型結構，深度混合是動態決定哪些輸入要多算一些。
它適合部署嗎？
很適合研究推論效率，但要看實際框架是否支援動態路由。