A Acme é uma estrutura baseada em Python que simplifica o desenvolvimento e a avaliação de agentes de aprendizado por reforço. Oferece uma coleção de implementações de agentes pré-construídos (por exemplo, DQN, PPO, SAC), wrappers de ambientes, buffers de Replay e motores de execução distribuída. Pesquisadores podem combinar componentes para criar protótipos de novos algoritmos, monitorar métricas de treinamento com registro embutido e aproveitar pipelines distribuídos escaláveis para experimentos em grande escala. A Acme integra-se com TensorFlow e JAX, suporta ambientes personalizados via interfaces OpenAI Gym e inclui utilitários para checkpointing, avaliação e configuração de hiperparâmetros.

HFO_DQN combina Python e TensorFlow para fornecer um pipeline completo para treinar agentes de futebol usando Deep Q-Networks. Os usuários podem clonar o repositório, instalar dependências incluindo o simulador HFO e bibliotecas Python, e configurar os parâmetros de treinamento em arquivos YAML. O framework implementa experiência de replay, atualizações de rede alvo, exploração epsilon-greedy e modelagem de recompensas específicas para o domínio offense de meio campo. Possui scripts para treinamento de agentes, registro de desempenho, partidas de avaliação e plotagem de resultados. A estrutura modular de código permite integrar arquiteturas de rede neural personalizadas, algoritmos RL alternativos e estratégias de coordenação multiagentes. As saídas incluem modelos treinados, métricas de desempenho e visualizações de comportamento, facilitando a pesquisa em aprendizado por reforço e sistemas multiagentes.

OpenSpiel oferece uma ampla gama de ambientes, desde jogos de matriz simples até jogos de tabuleiro complexos como Xadrez, Go e Poker, e implementa vários algoritmos de aprendizado por reforço e busca (por exemplo, iteração de valor, gradiente de política, MCTS). Seu núcleo modular em C++ e ligações Python permitem que usuários integrem algoritmos personalizados, definam novos jogos e comparem desempenho em benchmarks padrão. Projetado para extensibilidade, suporta configurações de agente único e múltiplo, permitindo o estudo de cenários cooperativos e competitivos. Pesquisadores utilizam OpenSpiel para prototipar algoritmos rapidamente, realizar experimentos em grande escala e compartilhar código reprodutível.