容錯性 是什麼？
Fault Tolerance：容錯性 的完整解釋
系統在部分元件發生故障時仍能持續正常運作的能力。
容錯性（Fault Tolerance）是分散式系統與 AI 工程中至關重要的設計原則，指系統在面臨部分元件故障、資料損毀或網路異常時，仍能持續運作並維持可接受的服務品質。這個概念源自航太與電信領域，後來被廣泛應用於雲端運算、機器學習平台與生產環境的 AI 推論服務。
在 AI 模型訓練的場景中，容錯性尤為重要。大型語言模型或深度學習模型的訓練往往需要數天甚至數週，若訓練叢集中有一個 GPU 節點故障，整個訓練任務可能因此中斷，損失大量計算資源。為此，業界發展出「檢查點（Checkpoint）」機制，讓訓練過程定期將模型參數儲存到持久化儲存，一旦發生故障便可從最近的檢查點恢復，而不需要從頭重新訓練。
另一個關鍵機制是「備援（Redundancy）」。容錯系統通常會配置冗餘資源，例如主從式資料庫（Primary-Replica）架構，當主節點發生故障時，從節點可以立即接手服務。在 AI 推論服務中，常見做法是部署多個模型副本於不同的可用區（Availability Zone），透過負載平衡器分發請求；若某一副本不可用，流量自動導向其餘健康節點，使用者幾乎感受不到中斷。
容錯性與「高可用性（High Availability, HA）」密切相關，但兩者的側重點有所不同。高可用性強調系統在時間維度上的連續運作比例（通常以「幾個九」衡量，如 99.9% 或 99.99% 的正常運行時間），而容錯性更關注系統在故障發生當下的應對機制與恢復能力。
在分散式機器學習框架中，例如 TensorFlow 的 ParameterServer 架構或 PyTorch 的 DDP（Distributed Data Parallel），容錯設計的複雜度更高。當參數伺服器故障時，系統需要能夠偵測失效節點、重新分配工作負載，並在不影響其他工作節點的前提下恢復正常訓練流程。Horovod、Ray 等框架均提供了不同層次的容錯機制。
從 iPAS AI 應用規劃師考試的角度來看，容錯性通常出現在 AI 系統架構設計、模型部署與維運管理的題目中。考題可能詢問如何設計具備容錯能力的 AI 推論服務、檢查點機制的作用，或在多節點分散式訓練環境中如何應對節點失效問題。理解容錯性的核心原則，有助於考生在系統設計題目中給出完整且合理的架構方案。
實務上，雲端平台（如 AWS、GCP、Azure）提供的受管理 AI 服務通常內建容錯機制，包括自動故障轉移、跨區域備援與自動擴縮容。規劃 AI 系統時，工程師需要根據業務的容錯需求（Recovery Time Objective, RTO 與 Recovery Point Objective, RPO）來設計對應的容錯策略，在成本與可靠性之間取得平衡。
容錯性的另一個重要面向是「優雅降級（Graceful Degradation）」，即在部分資源失效時，系統退而提供簡化但仍有用的服務，而非完全停止運作。例如，某個 AI 推薦系統的個性化模型因資料庫連線故障而無法取得使用者歷史行為，此時系統可以降級為提供基於熱門排名的通用推薦，保障使用者體驗不完全中斷。這種設計思維在高流量的 AI 線上服務中十分普遍，是建構生產級 AI 系統時必須納入考量的架構決策。 容錯性（Fault Tolerance）是分散式 AI 系統設計的核心屬性，指系統在部分組件發生故障的情況下仍能繼續正常運行或優雅降級的能力。隨著大型語言模型訓練和推論系統規模不斷擴大，容錯性設計已成為 AI 基礎設施的必要要素。
在大規模 AI 訓練中，使用數百乃至數千個 GPU 進行分散式訓練時，硬體故障的可能性隨規模線性增加。一個訓練叢集中，每天可能有多個 GPU 出現故障。若沒有容錯機制，整個訓練作業必須從頭重跑，浪費數天乃至數週的計算資源。
檢查點機制（Checkpointing）是最基礎的容錯手段：定期將模型權重、優化器狀態和訓練進度快照儲存到持久儲存（如分散式檔案系統），發生故障後從最近的檢查點恢復，只損失少量訓練進度。PyTorch Distributed 和 DeepSpeed 都提供了自動化的檢查點功能。
彈性訓練（Elastic Training）是更進階的容錯技術，允許訓練作業在節點加入或退出時動態調整工作者數量，無需完全重啟。PyTorch Elastic（torchelastic）支援這種模式，使訓練作業能在節點故障後自動繼續，只需重新平衡資料分配即可。
在 AI 推論服務中，容錯性通過多副本部署（Multiple Replicas）和負載均衡器（Load Balancer）實現：多個模型副本同時運行，任一副本故障時流量自動切換到其他健康副本。Kubernetes 的 Pod 健康檢查和自動重啟機制為 AI 推論容器提供了基礎的容錯保障。
存儲和網路層面的容錯設計同樣不可忽視。訓練資料的分散式副本（如 HDFS 的三副本機制）確保節點故障不導致資料遺失；梯度通信的容錯（如基於拜占庭容錯的聚合算法）防止惡意或故障節點的梯度污染整個訓練過程。