需要承受 10,000 RPS 的 AI 服務應採用什麼架構?

iPAS 考題解析

需要承受 10,000 RPS 的 AI 服務應採用什麼架構?

  • A. 單台伺服器垂直擴展
  • B. 容器化部署搭配水平擴展與 Auto Scaling ✓ 正確答案
  • C. 限制最大連線數
  • D. 增加批次處理大小

詳細解析

高流量場景需要水平擴展(加更多機器而非升級單台機器)。容器化讓服務可以快速複製,Auto Scaling 根據流量自動增減容器數量。

難度:★★★★