MultiAgentSystems está diseñado para simplificar el proceso de construir y evaluar aplicaciones de aprendizaje por refuerzo multiagente (MARL). La plataforma incluye implementaciones de algoritmos de vanguardia como MADDPG, QMIX, VDN, además de entrenamiento centralizado con ejecución descentralizada. Incluye envoltorios modulares de entornos compatibles con OpenAI Gym, protocolos de comunicación para interacción entre agentes y utilidades de registro para rastrear métricas como la forma del premio y tasas de convergencia. Los investigadores pueden personalizar arquitecturas de agentes, ajustar hiperparámetros y simular escenarios como navegación cooperativa, asignación de recursos y juegos adversarios. Con soporte integrado para PyTorch, aceleración GPU e integración con TensorBoard, MultiAgentSystems acelera la experimentación y evaluación comparativa en dominios multiagente colaborativos y competitivos.

DEf-MARL (Marco de ejecución descentralizada para aprendizaje por refuerzo multi-agente) proporciona una infraestructura robusta para ejecutar y entrenar agentes cooperativos sin controladores centralizados. Utiliza protocolos de comunicación peer-to-peer para compartir políticas y observaciones entre agentes, permitiendo una coordinación mediante interacciones locales. El framework se integra perfectamente con toolkits RL comunes como PyTorch y TensorFlow, ofreciendo wrappers configurables, recopilación distribuida de rollout y módulos de sincronización de gradientes. Los usuarios pueden definir espacios de observación, funciones de recompensa y topologías de comunicación específicas para cada agente. DEf-MARL soporta adición y eliminación dinámica de agentes en tiempo de ejecución, ejecución tolerante a fallos mediante replicación del estado crítico en nodos, y planificación de comunicación adaptativa para equilibrar exploración y explotación. Acelera el entrenamiento paralizando simulaciones de entornos y reduciendo los cuellos de botella centrales, siendo adecuado para investigación MARL a gran escala y simulaciones industriales.

VMAS es un paquete de herramientas completo para construir y entrenar sistemas multi-agentes utilizando aprendizaje profundo por refuerzo. Soporta simulaciones paralelas en GPU de cientos de instancias de entornos, permitiendo recopilación de datos de alto rendimiento y entrenamiento escalable. VMAS incluye implementaciones de algoritmos MARL populares como PPO, MADDPG, QMIX y COMA, junto con interfaces modulares para políticas y entornos para prototipado rápido. El marco facilita entrenamiento centralizado con ejecución descentralizada (CTDE), ofrece personalización del modelado de recompensas, espacios de observación y hooks de devolución de llamada para registro y visualización. Con su diseño modular, VMAS se integra perfectamente con modelos PyTorch y entornos externos, siendo ideal para investigación en tareas cooperativas, competitivas y de motivos mixtos en robótica, control de tráfico, asignación de recursos y escenarios de IA en juegos.