Arena

Arena(이전 LMArena)는 공개형 AI 모델 벤치마크 플랫폼으로, 사용자가 GPT, Claude 등 다양한 모델의 응답을 익명으로 비교하고 투표를 통해 실제 성능을 반영하는 종합 랭킹을 만들어냅니다.

Battle Mode에서 사용자가 문제나 명령을 입력하면 시스템은 두 개의 익명 AI 모델을 무작위로 선택해 동시에 답변을 생성합니다. 사용자는 답변의 품질에 따라 더 나은 쪽을 투표하고, 투표 결과는 모델의 ELO 점수와 랭킹에 영향을 줍니다.

공개 정보에 따르면 Arena 플랫폼의 핵심 평가 및 비교 기능은 현재 무료로 제공됩니다. 사용자는 플랫폼을 통해 다양한 AI 모델을 체험하고 테스트할 수 있습니다.

Arena 플랫폼은 익명 대전 메커니즘을 사용해 투표 전에 모델의 신원을 알 수 없도록 하여 브랜드 편향을 줄입니다. 또한 다수의 사용자 투표 데이터를 처리하는 ELO 점수 시스템을 사용하고, 모든 평가 데이터와 순위는 공개적으로 조회 가능하게 제공합니다.

Arena는 텍스트 대화, 시각 이해, 이미지 생성, 비디오 생성, 코드 작성, 웹 개발, 검색 강화 등 다양한 분야의 전문 랭킹을 제공합니다.

Arena에서 AI 모델을 사용할 때 사용자 데이터는 제3의 AI 모델 공급자에게 처리될 수 있으며 해당 공급자에게 공개적으로 공유될 수 있어 커뮤니티 발전과 AI 연구를 지원합니다. 따라서 민감하거나 개인 정보의 제출은 피하는 것이 좋습니다.

랭크 데이터는 커뮤니티 투표를 기반으로 지속적으로 업데이트됩니다. 텍스트 랭크, 비주얼 랭크 등 각 전문 랭크는 보통 ‘최근 업데이트: 1일 전’과 같이 표시되어, 데이터의 최신성을 반영합니다.

전통 벤치마크는 고정된 표준 문제를 사용합니다. Arena는 실제 사용자 작업과 주관적 판단에 기반한 평가를 강조하며, 다수의 사용자의 익명 투표와 대조를 통해 모델의 실제 응용 시나리오에서의 성능을 반영합니다.