WhyLabs AI

WhyLabs AI는 생산 환경의 머신러닝 모델과 생성형 AI 애플리케이션의 모니터링, 보호 및 최적화를 중심으로 한 AI 가시성 및 보안 플랫폼입니다.

플랫폼은 AI 모델과 애플리케이션의 지속적인 관측(모니터링 및 문제 탐지), 보안 방어(특히 LLM 대상), 그리고 성능 최적화(시각화 디버깅 및 비용 추적) 기능을 제공합니다.

의료, 금융 서비스, 전자상거래 등 데이터 중심 산업은 물론 생산 환경의 AI 모델 성능 관리, 보안 및 안정성을 필요로 하는 모든 팀에 적합합니다.

플랫폼은 하이브리드 SaaS 아키텍처를 채택하고, 사용자의 환경에 배치된 오픈 소스 계측 에이전트와 관리형 플랫폼이 협력하여 작동하며, 기존 데이터 파이프라인과 다중 클라우드 환경에 대한 통합을 지원합니다.

전통적인 예측형 머신러닝 모델과 생성형 AI(예: 대형 언어 모델)를 포함한 다양한 모델의 모니터링을 지원하며, 구조화된 데이터뿐 아니라 비구조화된 데이터도 포함합니다.

생산 환경에서 실행 중인 AI 애플리케이션이 있고, 플랫폼의 계측 에이전트를 통합해 관련 성능 및 보안 원격 측정 데이터를 수집할 수 있어야 합니다.

플랫폼은 관련 보안 표준에 따라 보안 에이전트 및 정책 관리자를 통해 대형 언어 모델에 대한 프롬프트 주입, 데이터 유출, 악성 콘텐츠 생성 등의 보안 위협으로부터 방어합니다.

공식 공지에 따르면 WhyLabs는 운영을 중단했지만, 플랫폼의 핵심 소프트웨어는 오픈 소스이며 whylogs, langkit 등 관련 기술은 오픈 소스 커뮤니티에서 계속 관리 및 발전될 예정입니다.