某AI服務系統每次推論請求需約1秒完成,且必須支援高達10,000次請求每秒(RPS)的流量。為確保系統具備高可用性且能穩定應付流量峰值,下列哪一種架構方案最為合適?

iPAS 考題解析

某AI服務系統每次推論請求需約1秒完成,且必須支援高達10,000次請求每秒(RPS)的流量。為確保系統具備高可用性且能穩定應付流量峰值,下列哪一種架構方案最為合適?

  • A. 依賴單台超高效能伺服器進行垂直擴展,提升硬體規格
  • B. 採用容器化部署並水平擴展服務實例,結合自動彈性伸縮機制(Auto Scaling) ✓ 正確答案
  • C. 限制最大併發連線數,以避免系統過載
  • D. 增加批次處理大小,一次同時處理上千筆請求

詳細解析

面對每秒10,000次的高流量,水平擴展(增加服務實例數量)搭配Auto Scaling能動態調整資源,在流量峰值時自動擴容、在低峰時縮容,是應對高並發流量最有效且成本可控的架構方案。

出題年份:114 難度:★★☆