某企業提供大型語言模型(LLM)API 服務,需支援高併發請求與流量波動,同時要求服務不中斷並具備故障容忍能力。若以高可用性與可擴展性為主要設計原則,下列哪一種部署方式較為適當?

iPAS 考題解析

某企業提供大型語言模型(LLM)API 服務,需支援高併發請求與流量波動,同時要求服務不中斷並具備故障容忍能力。若以高可用性與可擴展性為主要設計原則,下列哪一種部署方式較為適當?

  • A. 採用單一高效能虛擬機(VM)集中部署,以提升資源使用效率
  • B. 建立多個模型服務實例並透過負載分散機制提供服務 ✓ 正確答案
  • C. 將推論任務改由用戶端設備分擔,以降低伺服器負載壓力
  • D. 使用 FTP 協議傳輸請求與回應,以減少服務通訊負擔

詳細解析

高可用性與可擴展性的核心是建立多個服務實例並透過負載均衡分散流量,確保單一實例故障時服務不中斷,同時能動態擴展應對流量波動。

出題年份:115 難度:★★☆