Arena

Arena（旧LMArena）は、コミュニティ主導のAIモデルのベンチマークテストと比較プラットフォームです。匿名対戦、ユーザー投票、ELOスコアリングを通じて、GPT、Claude、Gemini などの最新AIモデルがテキスト、画像、コードなどの各タスクで実際どの程度機能するかを評価・比較します。

Outlier AI

Outlier AI は、世界中の専門家とAI企業をつなぐリモートワークプラットフォームです。データアノテーションやモデル評価などのタスクを通じてAIモデルを訓練し、専門家が知識を活かして柔軟な収入を得られるようにします。

ChatHub AI

ChatHub AI は、主要な大規模言語モデルを統合したプラットフォームです。同じ画面上で複数のモデルの回答を並べて比較でき、意思決定の効率を高め、情報の検証を支援し、単一モデルによる幻覚リスクを低減します。

Arena AI

Arena AI は主に2つの方向のソリューションを提供します。1つはAIモデルの評価とルーティングプラットフォームとして、コミュニティ投票とインテリジェントルーティングを通じて、ユーザーが適切なAIモデルを評価・選択するのを支援します。もう1つはAI駆動のコミュニティ活性化プラットフォームとして、企業が自社サイト上にリアルタイムのインタラクティブなコミュニティを構築・管理し、ユーザーのエンゲージメントとビジネスの転換を向上させるのを支援します。

Arize AI

Arize AI は、大規模言語モデル（LLM）とエージェント向けの全ライフサイクル可観測性と評価プラットフォームです。AIエンジニアリングチームがモデル性能を監視・評価・最適化し、アプリの信頼性とビジネス効果を確保します。

Evidently AI

Evidently AI は、機械学習と大型言語モデルの評価・テスト・監視に特化したオープンソースプラットフォームで、データサイエンティストやエンジニアがAIシステムの本番環境での品質と信頼性を確保するのを支援します。

Confident AI

Confident AIは大規模言語モデルの評価と可観測性に特化したプラットフォームで、エンジニアやプロダクトチームがAIアプリの性能と信頼性を体系的にテスト、監視、最適化できるよう支援します。

Ragas

Ragasは、検索強化生成（RAG）システムの性能を自動評価・監視・向上するオープンソースフレームワークで、開発者が再現性が高く、拡張性のある体系的評価を実現するのを支援します。

Nexa AI

Nexa AIは端末（オンデバイス）向けのAIモデルデプロイと最適化に特化したプラットフォームで、ローカル機器向けに最適化されたモデルライブラリと開発ツールを提供します。開発者や企業がデバイス上でAIモデルを効率的に動作させることを支援し、オフライン利用をサポートするとともにデータのプライバシー保護に配慮しています。

Future AGI

Future AGI は、企業向けの LLM 可観測性と評価最適化プラットフォームで、開発者と企業が AI アプリケーション（特にエージェント型アプリ）の正確性・信頼性・性能を向上させることを支援します。構築・評価・最適化・観測機能を一体化したプラットフォームで、自動化ツールを通じて高精度な AI アプリケーションの開発・デプロイサイクルを加速することを目指します。

Transluce AI

Transluce AI（Transluce）は、AIシステムの解釈性と安全性を高めることに焦点を当てたオープンソース研究ツール集です。研究者と開発者がAIモデルやエージェントの内部挙動を理解・デバッグ・監視し、責任あるAIの発展を推進するのを支援します。

Humanloop

Humanloop は、企業向けの AI 開発プラットフォームで、LLM（大規模言語モデル）に基づくアプリケーションの構築・評価・最適化・デプロイを一連の全工程で支援します。プロンプトエンジニアリング、モデル評価、可観測性機能を統合することで、開発チームの AI アプリの信頼性と性能を向上させ、部門横断のコラボレーションと安全なデプロイをサポートします。

phospho AI

phospho AI は、大型言語モデル（LLM）アプリケーション向けに設計されたオープンソースのテキスト分析プラットフォームです。ユーザーとAIアプリケーション間のテキスト対話を自動的に分析し、重要イベントとユーザーの意図を抽出し、データ可視化ツールを提供して、対話体験とモデルのパフォーマンスを最適化するのを支援します。

Alle-AI

Alle-AIは、主要なAIモデルを統合したワンストップの統合プラットフォームで、ユーザーが複数のベンダーの生成系AIツールを並行呼び出し、比較・統合できるようにし、創作の効率と成果の信頼性を高めます。

Enigma AI

Enigma AI は、さまざまな AI アプリケーションと研究を包括する総称です。主に意思決定生成システム、大規模言語モデル評価基準、脳波デコードモデル、知的なチャットアプリケーションを含みます。コンテンツ作成、コード作成から高度な推論評価、神経科学研究に至るまで、さまざまな分野のユーザーに多様な AI ツールとソリューションを提供します。

Captum

Captumは、PyTorchを基盤としたオープンソースのモデル解釈性ライブラリであり、開発者がニューラルネットワークモデルの予測ロジックと特徴量の寄与を理解するのを支援します。モデルのデバッグ、アルゴリズム研究、性能最適化に適しています。

Thisorthis.ai

Thisorthis.ai は、生成系AIモデルの比較と評価に特化したワンストッププラットフォームで、横並びのテストを通じてユーザーが自分のニーズに最も適したAIモデルを効率的に選択できるよう支援します。

Atla AI

Atla AI は、AIエージェント向けに設計された自動化評価・改善プラットフォームです。体系的な分析・監視・最適化ツールを活用して、開発者がエージェントの性能と信頼性・開発効率を向上させることを支援します。

OverallGPT Compare AI

OverallGPT Compare AIは、AI大規模モデルの性能を比較するプラットフォームです。ユーザーが異なるAIモデルの応答を並べて可視化・比較できるようにし、直感的な比較を通じて、特定のニーズに最適なAIモデルを評価・選択することを支援します。

Langtrace AI

Langtrace AI は、オープンソースの可観測性と評価プラットフォームで、開発者が大規模言語モデルに基づくアプリを監視・デバッグ・最適化するのを支援し、AI のプロトタイプを信頼性の高い企業向け製品へと変換します。