AITerms 登入
機器學習深度學習自然語言處理

專家混合模型(Mixture of Experts)是什麼?

專家混合模型是一種機器學習技術,透過結合多個獨立的「專家」模型,針對不同輸入選擇性地激活特定專家,以提升模型整體效能。

完整定義

專家混合模型是一種機器學習架構,用於提升模型容量和效能。它包含多個獨立的「專家」子模型和一個「門控網路」。門控網路根據輸入數據,決定激活哪些專家子模型,從而實現更精細化的模型決策。常見應用包括自然語言處理、語音辨識和電腦視覺。

白話說明

你有沒有想過,模型能不能像找專長同事那樣,把不同問題交給不同人處理?

你可以把專家混合模型想成,先由路由器判斷這個 token 該交給哪幾個專家,再把結果合起來。

它重要在於,模型容量可以很大,但每次實際只啟動少數專家,計算成本不必跟著爆炸。

記住這句

大模型不必每次全員上場,找對專家就好。

比喻:專家混合模型就像一家有很多專科醫生的醫院 -- 當病人進來時,會先由總醫師判斷病況,然後把病人轉介給最適合的專科醫生治療,讓每個問題都能得到最佳處理。

容易混淆

專家混合模型 vs 深度混合

專家混合模型:在不同專家之間分配 token。

深度混合:在不同深度之間分配 token。

最關鍵的區別:前者選誰算,後者選算多深。

專家混合模型 vs 密集模型

專家混合模型:每次只啟動部分參數。

密集模型:每次大多數參數都會參與計算。

最關鍵的區別:前者稀疏,後者密集。

實際案例

多語言翻譯

不同語言或領域可以由不同專家處理,讓模型在保留大容量的同時,維持較好的效率。

企業客服路由

物流、退款、技術支援各自交給不同專家,模型就能把不同問題分流處理。

演算法與應用

關鍵元件是路由器,負責決定哪些專家被啟動。

常見挑戰包括負載不均、路由不穩和訓練難度。

它很適合追求高容量又要控制推論成本的場景。

情境判斷

Q1(情境題): 如果某幾個專家永遠最忙,這代表什麼?

可能是負載不均。路由器沒分好工作,會讓少數專家過勞、其他專家閒置。

Q2(情境題): 專家混合模型一定比普通模型更好嗎?

不一定。它更複雜,訓練和部署成本都更高,只有在容量和效率需求明確時才特別值得。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本