AWS 公布 SageMaker GPU 分割實測：H100 分割區吞吐量高於整張 A100

AWS 於 2026 年 11 月 6 日發布技術說明，介紹 Amazon SageMaker Inference 對 NVIDIA Multi-Instance GPU（MIG）分割的支援。MIG 將單張實體 GPU 切分為具硬體隔離、各自配置運算與記憶體資源的分割區。此功能適用於使用 inference components 的端點；單一模型端點、無伺服器端點及異質執行個體集區端點不支援分割。

設定時，使用者在 production variant 設定 AcceleratorPartitionLayouts，並在 inference component 設定 AcceleratorPartitionType。AWS 表示，這項功能沒有新增 API 操作、資源類型或 IAM 動作；未設定這兩個欄位的端點維持原有行為。分割配置在建立端點時選定，而需要多張 GPU 的模型仍須使用完整 GPU。AWS 測得，分割加速器約會增加 17 秒佈建時間。

文章也公布一組推論比較：以 Llama-3.1-8B-Instruct 在 SageMaker 即時端點執行，對照一個 H100 mig-3g.40gb 分割區與一張未分割的 A100-40GB。AWS 表示，在各情境成本效益最大的負載下，H100 分割區每秒輸出 token 數高出 53%–89%。在工作負載依賴的交叉點以上，每百萬輸出 token 成本低 18%–34%；低於交叉點時，整張 A100 成本較低。這些數字來自特定模型與測試條件，不代表所有部署都會得到相同結果。

AWS 表示，Salesforce 協助定義需求並驗證初期實作，並正準備以具代表性的正式環境工作負載進行驗證。AWS 文件列出的支援執行個體系列為 P4d、P5、G7 與 G7e，支援區域包括美國東岸與西岸、東京、新加坡、法蘭克福及愛爾蘭。這項技術支援於 2026 年 10 月 30 日公布；11 月 6 日的文章進一步補上設定方式與實測數據。