El simulador MARL está diseñado para facilitar el desarrollo eficiente y escalable de algoritmos de aprendizaje por refuerzo multiagente (MARL). Aprovechando el backend distribuido de PyTorch, permite a los usuarios ejecutar entrenamiento paralelo en múltiples GPUs o nodos, reduciendo significativamente el tiempo de experimentos. El simulador ofrece una interfaz modular de entorno que soporta escenarios de referencia estándar — como navegación cooperativa, depredador-presa y mundo en cuadrícula — así como entornos personalizados definidos por el usuario. Los agentes pueden utilizar diversos protocolos de comunicación para coordinar acciones, compartir observaciones y sincronizar recompensas. Espacios de recompensa y observación configurables permiten un control preciso de la dinámica de entrenamiento, mientras que herramientas integradas de registro y visualización proporcionan información en tiempo real sobre métricas de rendimiento.

Los agentes de aprendizaje por refuerzo para juegos PettingZoo son una biblioteca en Python que ofrece algoritmos listos para usar DQN, PPO y A2C para aprendizaje por refuerzo multiagente en entornos PettingZoo. Cuenta con scripts de entrenamiento y evaluación estandarizados, hiperparámetros configurables, registro integrado en TensorBoard y soporte tanto para juegos competitivos como cooperativos. Los investigadores y desarrolladores pueden clonar el repositorio, ajustar parámetros de entorno y algoritmo, ejecutar sesiones de entrenamiento y visualizar métricas para acelerar la experimentación y comparación en sus experimentos de RL multiagente.