dstack

O dstack é uma plataforma de orquestração de containers open source, criada para fluxos de trabalho de IA/ML. Ela oferece a equipes de ML um painel de controle unificado, simplificando o desenvolvimento, treinamento, ajuste fino e implantação de modelos de IA generativa, reduzindo a complexidade de gerenciar a infraestrutura subjacente (por exemplo, Kubernetes) e otimizando o custo de GPU.

O dstack suporta multi-nuvem (ex.: AWS, GCP, Azure), clusters on-premises e ambientes Kubernetes já existentes. Em termos de hardware, é nativamente compatível com aceleradores de IA como NVIDIA, AMD, TPU, Intel Gaudi e outros.

Os pré-requisitos básicos são instalar Git, Docker e Docker Compose. Após implantar o servidor dstack e a CLI, defina os recursos (como Fleet) via arquivo de configuração para habilitar. Em clusters locais, basta Docker e chaves SSH para gerenciar.

Fleet (pool de recursos) é o conceito central do dstack, usado para definir e gerenciar um conjunto de recursos de computação (número de nós, tipos e quantidades de GPUs). Suporta a criação de recursos sob demanda e libera automaticamente os recursos ociosos ao término das tarefas, ajudando a controlar custos. É um componente-chave para uma orquestração de GPU eficiente.

O dstack, via orquestração unificada de recursos e agendamento inteligente, fornece recursos de GPU sob demanda e os utiliza de forma mais eficiente, evitando ociosidade. A promessa oficial é reduzir entre 3 e 7 vezes os custos de infraestrutura.

O dstack é voltado para equipes de IA/ML, seja startups ou grandes empresas. Oferece opções de implantação que vão desde auto-gerenciado e open source até serviço hospedado (dstack Sky), atendendo tanto desenvolvedores individuais ou pequenas equipes quanto ambientes corporativos em larga escala e produção.