專家混合模型 是什麼？
Mixture of Experts — 專家混合模型 的完整解釋
專家混合模型是一種機器學習技術，透過結合多個獨立的「專家」模型，針對不同輸入選擇性地激活特定專家，以提升模型整體效能。
容易混淆
專家混合模型 vs 深度混合
專家混合模型：在不同專家之間分配 token。 深度混合：在不同深度之間分配 token。 最關鍵的區別：前者選誰算，後者選算多深。
專家混合模型 vs 密集模型
專家混合模型：每次只啟動部分參數。 密集模型：每次大多數參數都會參與計算。 最關鍵的區別：前者稀疏，後者密集。
記住這句就好
大模型不必每次全員上場，找對專家就好。
實際案例
多語言翻譯
不同語言或領域可以由不同專家處理，讓模型在保留大容量的同時，維持較好的效率。
企業客服路由
物流、退款、技術支援各自交給不同專家，模型就能把不同問題分流處理。
算法與應用
關鍵元件是路由器，負責決定哪些專家被啟動。 常見挑戰包括負載不均、路由不穩和訓練難度。 它很適合追求高容量又要控制推論成本的場景。
情境判斷
Q1（情境題）： 如果某幾個專家永遠最忙，這代表什麼？
→ 可能是負載不均。路由器沒分好工作，會讓少數專家過勞、其他專家閒置。
Q2（情境題）： 專家混合模型一定比普通模型更好嗎？
→ 不一定。它更複雜，訓練和部署成本都更高，只有在容量和效率需求明確時才特別值得。
相關術語
常見問題
專家混合模型的專家是真的人嗎？
不是。專家是模型中的子網路或參數群組。
它適合所有任務嗎？
不適合。若任務單純、模型不大，密集模型可能更簡單也更穩。
它和集成學習一樣嗎？
不一樣。集成學習是多模型投票，專家混合模型是單一架構內部的稀疏路由。