A plataforma Foundry AI oferece uma estrutura de simulação web determinística e anotação, permitindo que os usuários coletem rótulos de alta qualidade, avaliem efetivamente os agentes de navegador e depurem problemas de desempenho. Ela garante testes reproduzíveis e avaliação escalável sem os desafios de desvio web, proibições de IP e limites de taxa. Construída por especialistas da indústria, a plataforma melhora a avaliação de agentes, aprimoramento contínuo e depuração de desempenho em um ambiente controlado.

Open Agent Leaderboard oferece um pipeline completo de avaliação para agentes de IA de código aberto. Inclui um conjunto de tarefas cuidadosamente selecionadas que abrangem raciocínio, planejamento, perguntas e respostas e uso de ferramentas, um sistema automatizado para rodar agentes em ambientes isolados e scripts para coletar métricas de desempenho, como taxa de sucesso, tempo de execução e consumo de recursos. Os resultados são agregados e exibidos em um leaderboard baseado na web com filtros, gráficos e comparações históricas. A estrutura suporta Docker para configurações reprodutíveis, templates de integração para arquiteturas populares de agentes e configurações extensíveis para adicionamento fácil de novas tarefas ou métricas.

O ambiente Beer Game fornece uma simulação em tempo discreto de uma cadeia de suprimentos de cerveja de quatro etapas — varejista, atacadista, distribuidor e fabricante — com uma interface OpenAI Gym. Os agentes recebem observações incluindo estoque disponível, estoque em pipeline e pedidos recebidos, e produzem quantidades de pedido. O ambiente calcula custos por etapa para armazenamento e pedidos pendentes, e suporta distribuições de demanda e tempos de entrega personalizáveis. Ele se integra perfeitamente com bibliotecas RL populares como Stable Baselines3, permitindo que pesquisadores e educadores avaliem e treinem algoritmos para tarefas de otimização da cadeia de suprimentos.

Coval ajuda as empresas a simular milhares de cenários a partir de alguns casos de teste, permitindo que testem seus agentes de voz e chat de forma abrangente. Construído por especialistas em testes autônomos, Coval oferece recursos como simulações de voz personalizáveis, métricas integradas para avaliações e rastreamento de desempenho. É projetado para desenvolvedores e empresas que desejam implantar agentes de IA confiáveis mais rapidamente.

Dino Reinforcement Learning oferece uma caixa de ferramentas abrangente para treinar um agente de IA a jogar o jogo do dinossauro do Chrome via aprendizado por reforço. Integrando-se com uma instância headless do Chrome através do Selenium, captura quadros do jogo em tempo real e os processa em representações de estado otimizadas para entradas de redes Q profundas. O framework inclui módulos para memória de replay, exploração epsilon-greedy, modelos de redes neurais convolucionais e loops de treinamento com hiperparâmetros personalizáveis. Os usuários podem monitorar o progresso do treinamento via logs no console e salvar pontos de verificação para avaliações posteriores. Após o treinamento, o agente pode ser implantado para jogar jogos ao vivo autonomamente ou avaliado contra diferentes arquiteturas de modelos. O design modular permite substituição fácil de algoritmos de RL, tornando-o uma plataforma flexível para experimentação.

HMAS é uma estrutura de código aberto em Python que permite o desenvolvimento de sistemas multiagente hierárquicos. Oferece abstrações para definir hierarquias de agentes, protocolos de comunicação entre agentes, integração de ambientes e loops de treinamento integrados. Pesquisadores e desenvolvedores podem usar HMAS para prototipar interações complexas de vários agentes, treinar políticas coordenadas e avaliar o desempenho em ambientes simulados. Seu design modular torna fácil estender e personalizar agentes, ambientes e estratégias de treinamento.

MAPF_G2RL é uma estrutura de pesquisa de código aberto que une teoria dos gráficos e aprendizagem por reforço profundo para resolver o problema de busca de caminho multiagente (MAPF). Ela codifica nós e arestas em representações vetoriais, define funções de recompensa espacial e conscientes de colisões, e suporta vários algoritmos de RL, como DQN, PPO e A2C. A estrutura automatiza a criação de cenários gerando gráficos aleatórios ou importando mapas do mundo real, e coordena laços de treinamento que otimizam políticas para múltiplos agentes simultaneamente. Após o aprendizado, os agentes são avaliados em ambientes simulados para medir a otimização do caminho, o tempo de execução total e as taxas de sucesso. Seu design modular permite que pesquisadores estendam componentes essenciais, integrem novas técnicas de MARL e façam benchmarks contra solucionadores clássicos.