Arena

Arena (antigo LMArena) é uma plataforma de benchmark e comparação de modelos de IA movida pela comunidade. Ela permite avaliar o desempenho real de modelos de IA de ponta, como GPT, Claude, Gemini, em tarefas de texto, imagem, código e outras, por meio de duelos anônimos, votações dos usuários e um sistema de classificação ELO.

Outlier AI

Outlier AI é uma plataforma de trabalho remoto que conecta especialistas globais a empresas de IA, treinando modelos de IA por meio de tarefas como anotação de dados e avaliação de modelos, permitindo que profissionais monetizem seu conhecimento com flexibilidade.

ChatHub AI

ChatHub AI é uma plataforma que agrega os principais modelos de linguagem, permitindo ao usuário comparar as respostas de diferentes IA na mesma tela, com o objetivo de aumentar a eficiência da tomada de decisão, validar informações e reduzir o risco de alucinações de um único modelo.

Arena AI

Arena AI oferece duas frentes de solução: uma plataforma de avaliação e roteamento de modelos de IA que, por meio de testes e votações da comunidade e roteamento inteligente, ajuda usuários a avaliar e escolher modelos adequados; e uma plataforma de interação comunitária impulsionada por IA, que permite às empresas criar e gerenciar comunidades interativas em seus sites para aumentar engajamento e conversão.

Arize AI

Arize AI é uma plataforma de observabilidade e avaliação de ciclo de vida completo para grandes modelos de linguagem (LLMs) e agentes, que ajuda equipes de engenharia de IA a monitorar, avaliar e otimizar o desempenho dos modelos, assegurando a confiabilidade das aplicações e os resultados de negócio.

Evidently AI

Evidently AI é uma plataforma de código aberto focada em avaliação, teste e monitoramento de aprendizado de máquina e grandes modelos de linguagem, ajudando cientistas de dados e engenheiros a garantir a qualidade e confiabilidade dos sistemas de IA em produção.

Confident AI

Confident AI é uma plataforma dedicada à avaliação de grandes modelos de linguagem (LLMs) e observabilidade, ajudando equipes de engenharia e produto a testar, monitorar e otimizar o desempenho e a confiabilidade de aplicações de IA.

Ragas

Ragas é um framework de código aberto para automatizar a avaliação, monitoramento e melhoria do desempenho de sistemas RAG (Recuperação Aumentada por Geração). Ajuda desenvolvedores a alcançar avaliações sistemáticas, repetíveis e escaláveis.

Nexa AI

Nexa AI é uma plataforma focada em implantação e otimização de modelos de IA no dispositivo, oferecendo um catálogo de modelos otimizados para execuções locais e ferramentas de desenvolvimento. Seu valor central é ajudar desenvolvedores e empresas a executar modelos de IA de forma eficiente em dispositivos, com suporte a funcionamento offline e atenção à privacidade dos dados.

Future AGI

Future AGI é uma plataforma empresarial de observabilidade de LLMs e otimização de avaliações, voltada para ajudar equipes de desenvolvimento e empresas a aumentar a precisão, confiabilidade e desempenho de aplicações de IA (especialmente agentes). A plataforma integra construção, avaliação, otimização e observabilidade em uma solução única, visando acelerar o ciclo de desenvolvimento e implantação de aplicações de IA de alta precisão por meio de ferramentas de automação.

Transluce AI

Transluce AI (Transluce) é uma ferramenta de pesquisa de código aberto dedicada a aumentar a interpretabilidade e a segurança de sistemas de IA, ajudando pesquisadores e desenvolvedores a entender, depurar e monitorar o comportamento interno de modelos de IA, promovendo o desenvolvimento de IA responsável.

Humanloop

Humanloop é uma plataforma corporativa de desenvolvimento de IA voltada para construir, avaliar, otimizar e implantar aplicações baseadas em grandes modelos de linguagem (LLMs). Ao reunir gestão de prompts, avaliação de modelos e recursos de observabilidade, a plataforma ajuda equipes a aumentar a confiabilidade e o desempenho de aplicações de IA, além de facilitar a colaboração entre áreas e implantações seguras.

phospho AI

phospho AI é uma plataforma de análise de texto de código aberto, criada para aplicações que utilizam Modelos de Linguagem de Grande Escala (LLMs). Ela analisa automaticamente as interações textuais entre usuários e IA, extrai eventos-chave e intenções dos usuários e fornece ferramentas de visualização de dados para ajudar desenvolvedores a otimizar a experiência de conversa e o desempenho do modelo.

Alle-AI

Alle-AI é uma plataforma de agregação tudo-em-um que reúne vários modelos de IA líderes. Ela permite aos usuários chamar, comparar e integrar ferramentas de IA generativa de diferentes fornecedores em paralelo, com o objetivo de aumentar a produtividade criativa e a confiabilidade dos resultados.

Enigma AI

Enigma AI é um guarda-chuva para diversas aplicações e pesquisas em inteligência artificial, incluindo sistemas de geração de decisões, benchmarks para avaliação de modelos de linguagem (EnigmaEval), modelos de decodificação de eletroencefalograma (EEG) e aplicações de chat inteligente. Oferece a usuários de diferentes áreas um conjunto versátil de ferramentas de IA, desde criação de conteúdo e escrita de código até avaliações avançadas de raciocínio e pesquisas em neurociência.

Captum

Captum é uma biblioteca de interpretabilidade de modelos de código aberto baseada em PyTorch, que ajuda os desenvolvedores a entender a lógica de previsão e a contribuição de características de modelos de redes neurais, adequada para depuração de modelos, pesquisa de algoritmos e melhoria de desempenho.

Thisorthis.ai

Thisorthis.ai é uma plataforma de comparação de modelos de IA que, por meio de testes lado a lado e análise multidimensional, ajuda os usuários a avaliar e escolher o modelo de IA generativa mais adequado às suas necessidades de tarefa.

Atla AI

Atla AI é uma plataforma automatizada de avaliação e melhoria, projetada especificamente para agentes de IA. Por meio de análises, monitoramento e ferramentas de otimização sistematizadas, ajuda desenvolvedores a aumentar o desempenho, a confiabilidade e a eficiência no desenvolvimento de agentes.

OverallGPT Compare AI

O OverallGPT Compare AI é uma plataforma de comparação de desempenho de grandes modelos de IA, que permite aos usuários visualizar lado a lado as respostas de diferentes modelos de IA. A plataforma tem como objetivo ajudar usuários, desenvolvedores e tomadores de decisão tecnológica a comparar de forma intuitiva, avaliar e escolher o modelo de IA que melhor atende às necessidades específicas.

Langtrace AI

Langtrace AI é uma plataforma de observabilidade e avaliação de IA de código aberto que ajuda desenvolvedores a monitorar, depurar e otimizar aplicações baseadas em grandes modelos de linguagem, transformando protótipos de IA em produtos empresariais confiáveis.