dstack

dstack 是一個專為 AI/ML 工作流程設計的開源容器編排平台。它旨在為機器學習團隊提供一個統一的控制平面，簡化生成式 AI 模型的開發、訓練、微調和部署全流程，降低管理底層基礎設施（如 Kubernetes）的複雜性，並優化 GPU 資源成本。

dstack 支援多雲（如 AWS、GCP、Azure）、本地伺服器叢集以及現有的 Kubernetes 環境。在硬體層面，它原生相容 NVIDIA、AMD、TPU、Intel Gaudi 等多種主流 AI 加速器。

基本前提是安裝 Git、Docker 與 Docker Compose。部署 dstack 伺服器與 CLI 工具後，需要透過設定檔定義資源（如 Fleet）方可啟用。對於本地伺服器叢集，只需 Docker 與 SSH 金鑰即可管理。

Fleet（資源池）是 dstack 的核心概念，用於定義與管理一組計算資源（如節點數、GPU 類型與數量）。它支援按需建立資源，並在任務完成後自動釋放閒置資源以控制成本，是實現高效 GPU 編排的關鍵元件。

dstack 通過統一的資源編排與智能排程，實現 GPU 資源的按需供應與高效利用，避免資源閒置。其官方宣稱可協助團隊降低 3 到 7 倍的基礎設施成本。

dstack 主要面向 AI/ML 團隊，無論是初創公司還是大型企業。它提供了從開源自託管到托管服務（dstack Sky）的多種部署選項，既能滿足個人開發者或小型團隊的實驗需求，也支持企業級的大規模、生產環境部署。