需要承受 10,000 RPS 的 AI 服務應採用什麼架構?
iPAS 考題解析
需要承受 10,000 RPS 的 AI 服務應採用什麼架構?
- A. 單台伺服器垂直擴展
- B. 容器化部署搭配水平擴展與 Auto Scaling ✓ 正確答案
- C. 限制最大連線數
- D. 增加批次處理大小
詳細解析
高流量場景需要水平擴展(加更多機器而非升級單台機器)。容器化讓服務可以快速複製,Auto Scaling 根據流量自動增減容器數量。
難度:★★★★
需要承受 10,000 RPS 的 AI 服務應採用什麼架構?
需要承受 10,000 RPS 的 AI 服務應採用什麼架構?
高流量場景需要水平擴展(加更多機器而非升級單台機器)。容器化讓服務可以快速複製,Auto Scaling 根據流量自動增減容器數量。