Acme es un marco basado en Python que simplifica el desarrollo y la evaluación de agentes de aprendizaje por refuerzo. Ofrece una colección de implementaciones predefinidas de agentes (por ejemplo, DQN, PPO, SAC), envoltorios de entornos, buffers de repetición y motores de ejecución distribuidos. Los investigadores pueden combinar componentes para prototipar nuevos algoritmos, monitorear métricas de entrenamiento con registro incorporado y aprovechar pipelines distribuidos escalables para experimentos a gran escala. Acme se integra con TensorFlow y JAX, soporta entornos personalizados mediante interfaces OpenAI Gym, y incluye utilidades para guardar, evaluar y configurar hiperparámetros.

HFO_DQN combina Python y TensorFlow para ofrecer un pipeline completo para entrenar agentes de fútbol usando Deep Q-Networks. Los usuarios pueden clonar el repositorio, instalar dependencias incluyendo el simulador HFO y bibliotecas Python, y configurar los parámetros de entrenamiento en archivos YAML. El marco implementa reproducción de experiencias, actualizaciones del red objetivo, exploración epsilon-greedy y modelado de recompensas adaptado al dominio de ofensiva de medio campo. Incluye scripts para entrenamiento de agentes, registro de rendimiento, partidas de evaluación y visualización de resultados. La estructura modular permite integrar arquitecturas de redes neuronales personalizadas, algoritmos RL alternativos y estrategias de coordinación multiagente. Las salidas incluyen modelos entrenados, métricas de rendimiento y visualizaciones del comportamiento, facilitando investigaciones en aprendizaje por refuerzo y sistemas multiagente.

OpenSpiel es un marco de investigación que proporciona una amplia gama de entornos (desde juegos simples de matriz hasta juegos de tablero complejos como Ajedrez, Go y Póker) e implementa varios algoritmos de aprendizaje por refuerzo y búsqueda (por ejemplo, iteración de valores, métodos de gradiente de política, MCTS). Su núcleo modular en C++ y enlaces en Python permiten a los usuarios integrar algoritmos personalizados, definir nuevos juegos y comparar el rendimiento en benchmarks estándar. Diseñado para extensibilidad, soporta configuraciones de un solo agente y multi-agente, permitiendo estudiar escenarios cooperativos y competitivos. Los investigadores utilizan OpenSpiel para prototipar rápidamente algoritmos, realizar experimentos a gran escala y compartir código reproducible.