完整定義
專家混合模型是一種機器學習架構,用於提升模型容量和效能。它包含多個獨立的「專家」子模型和一個「門控網路」。門控網路根據輸入數據,決定激活哪些專家子模型,從而實現更精細化的模型決策。常見應用包括自然語言處理、語音辨識和電腦視覺。
白話說明
你有沒有想過,模型能不能像找專長同事那樣,把不同問題交給不同人處理?
你可以把專家混合模型想成,先由路由器判斷這個 token 該交給哪幾個專家,再把結果合起來。
它重要在於,模型容量可以很大,但每次實際只啟動少數專家,計算成本不必跟著爆炸。
記住這句
大模型不必每次全員上場,找對專家就好。
比喻:專家混合模型就像一家有很多專科醫生的醫院 -- 當病人進來時,會先由總醫師判斷病況,然後把病人轉介給最適合的專科醫生治療,讓每個問題都能得到最佳處理。
容易混淆
專家混合模型 vs 深度混合
專家混合模型:在不同專家之間分配 token。
深度混合:在不同深度之間分配 token。
最關鍵的區別:前者選誰算,後者選算多深。
專家混合模型 vs 密集模型
專家混合模型:每次只啟動部分參數。
密集模型:每次大多數參數都會參與計算。
最關鍵的區別:前者稀疏,後者密集。
實際案例
多語言翻譯
不同語言或領域可以由不同專家處理,讓模型在保留大容量的同時,維持較好的效率。
企業客服路由
物流、退款、技術支援各自交給不同專家,模型就能把不同問題分流處理。
演算法與應用
關鍵元件是路由器,負責決定哪些專家被啟動。
常見挑戰包括負載不均、路由不穩和訓練難度。
它很適合追求高容量又要控制推論成本的場景。
情境判斷
Q1(情境題): 如果某幾個專家永遠最忙,這代表什麼?
可能是負載不均。路由器沒分好工作,會讓少數專家過勞、其他專家閒置。
Q2(情境題): 專家混合模型一定比普通模型更好嗎?
不一定。它更複雜,訓練和部署成本都更高,只有在容量和效率需求明確時才特別值得。
常見問題
不是。專家是模型中的子網路或參數群組。
不適合。若任務單純、模型不大,密集模型可能更簡單也更穩。
不一樣。集成學習是多模型投票,專家混合模型是單一架構內部的稀疏路由。
相關術語
- 轉換器架構Transformer很多專家混合模型都建立在 Transformer 上。
- 深度混合Mixture of Depths同樣是在做稀疏計算的對照概念。
- 分散式訓練Distributed Training模型變大後常需要。
- 模型平行化Model Parallelism很大的專家模型常會用到。
- 模型壓縮Model Compression了解容量和成本的取捨時會一起看。
- 集成學習Ensemble Learning
- 注意力機制Attention Mechanism
- 微調Fine-tuning
- 遷移學習Transfer Learning
本頁內容有提到,或屬於同一組主題的術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本