Amazon SageMaker HyperPod 與 Qumulo 展示跨區域 AI 訓練

AWS 於 2026 年 9 月 25 日發布的技術文章，說明如何將 Amazon SageMaker HyperPod 與 Cloud Native Qumulo、Qumulo Cloud Data Fabric 搭配，讓訓練計算位於一個 AWS 區域，而資料集保留在另一個區域。架構透過 NeuralCache 預測並快取資料讀取，讓遠端叢集可經由本地掛載點存取資料；AWS 表示，這種做法可避免為該架構複製整份資料集。

AWS 以兩個獨立叢集執行相同的 1.02 billion 參數 LLaMA v3 訓練工作：資料與計算同在美東（俄亥俄）區域的 hub，以及位於美西（奧勒岡）、跨區讀取資料的 spoke。每個叢集使用兩台 ml.p5.48xlarge 執行個體，合計 16 張 H100 GPU；文章指出，測試中的跨區網路延遲為 60 毫秒。

依 AWS 公布的測試結果，遠端叢集在 NeuralCache 暖機後，達到每秒 115–117 個樣本，與資料同區叢集相當；吞吐量在最初 100–150 個 batch 內收斂。AWS 另稱，這段一次性暖機在 10,000 個以上 batch 的訓練中，少於總執行時間的 1%；在超過 100,000 個 batch 時則低於 0.1%。這些數字是 AWS 對其特定測試配置的報告。

這則案例呈現 HyperPod 在跨區域資料存取下的一種訓練配置。AWS 於 9 月 29 日另發布 HyperPod 上使用 SkyRL 對 Qwen3-VL-8B 進行後訓練的教學；該文章描述的是另一種工作負載與評估，不能直接與本次跨區域吞吐量測試比較。