Groq AI

Groq AI는 자체 개발한 LPU 칩을 기반으로 한 인공지능 추론 클라우드 서비스를 주로 제공합니다. 개발자에게 빠르고 저지연의 대형 언어 모델 추론 능력을 제공하는 것을 목표로 합니다.

LPU는 AI 추론을 위해 설계된 칩으로, 단일 코어 설계와 대용량 온칩 SRAM 아키텍처를 채택해 낮은 지연과 높은 에너지 효율의 데이터 처리를 구현하며, 특히 대형 언어 모델의 토큰 생성 단계에 적합합니다.

개발자는 GroqCloud 플랫폼에서 제공하는 API에 접속할 수 있습니다. 이 API는 OpenAI API와 호환되도록 설계되었으며, 공식 Playground 콘솔을 통해 온라인으로 체험할 수도 있습니다.

플랫폼은 Meta의 Llama 시리즈, Mistral의 Mixtral 모델, Google의 Gemma 모델 등 여러 주요 오픈 소스 대형 언어 모델을 지원합니다.

실시간으로 빠른 응답이 필요한 AI 애플리케이션에 특히 적합합니다. 예를 들어 대화형 챗봇, 스마트 어시스턴트, 코드 자동 완성 도구 및 논리 추론 작업 등이 있습니다.

현재 GroqCloud 플랫폼은 API를 통한 접근 서비스를 제공하며 무료 이용 계층이 있습니다(일반적으로 속도 제한이 포함). 장기 요금 정책은 공식 최신 공지에서 확인하시기 바랍니다.

LPU 아키텍처는 마이크로초 수준의 안정적인 지연과 높은 토큰 생성 속도를 달성하도록 설계되었으며, 특정 대형 언어 모델 추론 벤치마크에서 초기 단어 지연이 낮고 에너지 효율이 높음을 보여줍니다.

무료 버전은 멀티모달, 인터넷 검색, 파일 업로드 등의 기능을 지원하지 않을 수 있습니다. 파라미터 수가 매우 큰 모델의 경우 일반적으로 다중 칩 클러스터가 필요하며, 이는 시스템의 복잡성을 증가시킬 수 있습니다.