DigitalOcean AI Inference는 DigitalOcean이 제공하는 클라우드 기반 AI 모델 추론 서비스로, GPU 계산 인스턴스와 서버리스 추론 옵션을 포함하며, 사용자가 AI 애플리케이션을 배포하고 확장하는 데 도움을 주도록 설계되었습니다.
주요 구성요소로는 GPU Droplets( GPU가 탑재된 가상 머신), DOKS용 GPU, Bare Metal GPU, 그리고 Gradient™ AI Platform을 통한 서버리스 추론 서비스가 포함됩니다.
NVIDIA(H100) 및 AMD(Instinct™ MI350X) 등의 GPU 옵션을 지원하며, 단일 GPU부터 다중 GPU 구성까지 제공합니다.
Gradient™ AI Platform을 통해 사용자는 인스턴스를 관리할 필요 없이 API 엔드포인트로 모델을 호출할 수 있으며, 시스템이 추론 리소스를 자동으로 스케줄하고 사용량에 따라 요금을 산정합니다.
개발자, 스타트업, 디지털 네이티브 기업을 위한 서비스로, AI 실험, 모델 학습, 실시간 애플리케이션 배포 및 생산 환경 추론 워크로드 관리에 적합합니다.
주요 방법으로는 Gradient™ Platform을 통한 서버리스 추론 이용, GPU Droplets 인스턴스를 직접 생성·관리, 원클릭 배포 템플릿을 통한 컨테이너 배포가 있습니다.
투명한 가격 구조를 제공하며, 필요에 따른 GPU 인스턴스와 토큰 단위로 요금이 청구되는 서버리스 옵션이 포함되어, 예측 가능한 비용을 제공합니다.
Claude Opus를 포함한 주요 기본 모델을 지원하며, 추론 엔드포인트를 통해 주요 오픈소스 모델의 호스팅 서비스를 제공합니다.
