dstack

dstack es una plataforma de código abierto para la orquestación de contenedores diseñada para flujos de trabajo de IA/ML. Su objetivo es proporcionar a los equipos de aprendizaje automático un plano de control unificado, simplificar el desarrollo, entrenamiento, afinación y despliegue de modelos de IA generativa, reducir la complejidad de gestionar la infraestructura subyacente (como Kubernetes) y optimizar el costo de los recursos GPU.

dstack admite entornos multicloud (p. ej., AWS, GCP, Azure), clusters locales y entornos Kubernetes existentes. En cuanto al hardware, es compatible de forma nativa con diversas aceleradoras de IA como NVIDIA, AMD, TPU e Intel Gaudi, entre otras.

Los requisitos básicos son instalar Git, Docker y Docker Compose. Después de desplegar el servidor dstack y las herramientas CLI, es necesario definir los recursos (como Fleet) mediante un archivo de configuración para habilitarlos. Para clusters de servidores locales, solo se requieren Docker y claves SSH para la gestión.

Fleet (pool de recursos) es el concepto central de dstack, utilizado para definir y gestionar un conjunto de recursos computacionales (por ejemplo, número de nodos, tipos y cantidades de GPU). Soporta la creación de recursos bajo demanda y la liberación automática de recursos ociosos una vez que la tarea concluye para controlar los costos; es un componente clave para lograr una orquestación de GPU eficiente.

dstack, mediante la orquestación de recursos unificada y la planificación inteligente, proporciona recursos GPU bajo demanda y los aprovecha de forma eficiente, evitando la inactividad de recursos. Se afirma que puede ayudar a los equipos a reducir entre 3 y 7 veces los costos de infraestructura.

dstack está dirigido principalmente a equipos de IA/ML, ya sean startups o grandes empresas. Ofrece múltiples opciones de despliegue, desde auto hospedado de código abierto hasta servicios gestionados (dstack Sky), para satisfacer las necesidades de experimentación de desarrolladores individuales o pequeños equipos, y también admitir implementaciones a escala empresarial en entornos de producción.