El entorno de búsqueda cooperativa proporciona un entorno de aprendizaje por refuerzo multiagente flexible y compatible con gym, diseñado para tareas de búsqueda cooperativa en espacios en cuadrícula discretos y continuos. Los agentes operan bajo observabilidad parcial y pueden compartir información basándose en topologías de comunicación personalizables. El marco soporta escenarios predefinidos como búsqueda y rescate, seguimiento de objetivos dinámicos y mapeo colaborativo, con API para definir entornos personalizados y estructuras de recompensa. Se integra a la perfección con bibliotecas RL populares como Stable Baselines3 y Ray RLlib, incluye utilidades de registro para análisis de rendimiento y herramientas de visualización integradas para monitoreo en tiempo real. Los investigadores pueden ajustar tamaños de cuadrículas, conteo de agentes, rangos de sensores y mecanismos de compartición de recompensas para evaluar estrategias de coordinación y probar nuevos algoritmos de manera efectiva.

CrewAI-Learning es una biblioteca de código abierto diseñada para agilizar proyectos de aprendizaje por refuerzo multiagente. Ofrece estructura de entornos, definiciones modulares de agentes, funciones de recompensa personalizables y un conjunto de algoritmos incorporados como DQN, PPO y A3C adaptados para tareas colaborativas. Los usuarios pueden definir escenarios, gestionar ciclos de entrenamiento, registrar métricas y visualizar resultados. El marco admite configuración dinámica de equipos de agentes y estrategias de compartición de recompensas, facilitando el prototipado, la evaluación y la optimización de soluciones de IA cooperativa en diversas áreas.

MARL-DPP es un marco de código abierto que permite el aprendizaje por refuerzo multiagente (MARL) con diversidad impuesta mediante Procesos Determinantales (DPP). Los enfoques MARL tradicionales suelen sufrir de convergencia de políticas hacia comportamientos similares; MARL-DPP aborda esto incorporando medidas basadas en DPP para fomentar que los agentes mantengan distribuciones de acciones diversas. El kit de herramientas proporciona código modular para integrar DPP en objetivos de entrenamiento, muestreo de políticas y gestión de exploración. Incluye integración lista para usar con entornos estándar como OpenAI Gym y el Entorno de Partículas Multi-Agente (MPE), además de utilidades para gestión de hiperparámetros, registro y visualización de métricas de diversidad. Los investigadores pueden evaluar el impacto de las restricciones de diversidad en tareas cooperativas, asignación de recursos y juegos competitivos. Su diseño extensible soporta entornos personalizados y algoritmos avanzados, facilitando la exploración de variantes nuevas de MARL-DPP.

El simulador MARL está diseñado para facilitar el desarrollo eficiente y escalable de algoritmos de aprendizaje por refuerzo multiagente (MARL). Aprovechando el backend distribuido de PyTorch, permite a los usuarios ejecutar entrenamiento paralelo en múltiples GPUs o nodos, reduciendo significativamente el tiempo de experimentos. El simulador ofrece una interfaz modular de entorno que soporta escenarios de referencia estándar — como navegación cooperativa, depredador-presa y mundo en cuadrícula — así como entornos personalizados definidos por el usuario. Los agentes pueden utilizar diversos protocolos de comunicación para coordinar acciones, compartir observaciones y sincronizar recompensas. Espacios de recompensa y observación configurables permiten un control preciso de la dinámica de entrenamiento, mientras que herramientas integradas de registro y visualización proporcionan información en tiempo real sobre métricas de rendimiento.

MARO (Multi-Agent Resource Optimization) es un marco basado en Python diseñado para apoyar el desarrollo y evaluación de agentes de aprendizaje por refuerzo multi-agente en escenarios de cadena de suministro, logística y gestión de recursos. Incluye plantillas para gestión de inventarios, planificación de camiones, cross-docking, alquiler de contenedores y más. MARO ofrece una API unificada de agentes, rastreadores integrados para registro de experimentos, capacidades de simulación paralela para entrenamiento a gran escala y herramientas de visualización para análisis de rendimiento. La plataforma es modular, extensible e integra bibliotecas RL populares, facilitando investigaciones reproducibles y creación rápida de prototipos de soluciones de optimización basadas en IA.

MARTI (Toolkit e Interfaz de Aprendizaje por Refuerzo Multiagente) es un marco orientado a la investigación que simplifica el desarrollo, evaluación y evaluación comparativa de algoritmos RL multiagente. Ofrece una arquitectura plug-and-play donde los usuarios pueden configurar entornos personalizados, políticas de agentes, estructuras de recompensas y protocolos de comunicación. MARTI se integra con bibliotecas de aprendizaje profundo populares, soporta aceleración GPU y entrenamiento distribuido, y genera registros y visualizaciones detalladas para análisis de rendimiento. El diseño modular del paquete permite la creación rápida de prototipos de enfoques novedosos y comparaciones sistemáticas con líneas base estándar, siendo ideal para investigaciones académicas y proyectos piloto en sistemas autónomos, robótica, IA de juegos y escenarios cooperativos multiagente.

Mava es una biblioteca de código abierto basada en JAX para desarrollar, entrenar y evaluar sistemas de aprendizaje por refuerzo multiagente. Ofrece implementaciones preconstruidas de algoritmos cooperativos y competitivos como MAPPO y MADDPG, junto con bucles de entrenamiento configurables que soportan flujos de trabajo en un solo nodo y distribuidos. Los investigadores pueden importar entornos desde PettingZoo o definir entornos personalizados, y luego usar los componentes modulares de Mava para optimización de políticas, gestión de búferes de repetición y registro de métricas. La arquitectura flexible del marco permite integrar nuevos algoritmos, espacios de observación personalizados y estructuras de recompensa. Aprovechando las capacidades de auto-vectorización y aceleración de hardware de JAX, Mava garantiza experimentos eficientes a gran escala y comparación reproducible en diversos escenarios multiagente.

Multi-Agent Miners ofrece un entorno de mundo en cuadrícula donde varios agentes mineros autónomos navegan, excavan y recogen recursos interactuando entre sí. Soporta tamaños de mapa configurables, número de agentes y estructuras de recompensa, permitiendo crear escenarios competitivos o cooperativos. El marco se integra con bibliotecas RL populares mediante PettingZoo, proporcionando APIs estandarizadas para funciones de reinicio, paso y renderizado. Los modos de visualización y soporte de registro ayudan a analizar comportamientos y resultados, siendo ideal para investigación, educación y benchmarking de algoritmos en aprendizaje por refuerzo multiagente.

Este proyecto de código abierto brinda un marco completo de aprendizaje por refuerzo multi-agente construido sobre PyTorch y Unity ML-Agents. Incluye algoritmos DDPG descentralizados, envoltorios de entornos y scripts de entrenamiento. Los usuarios pueden configurar políticas de agentes, redes críticas, buffers de reproducción y trabajadores de entrenamiento en paralelo. Los hooks de registro permiten monitoreo con TensorBoard, mientras que una estructura modular soporta funciones de recompensa y parámetros de entorno personalizables. El repositorio incluye escenas de ejemplo en Unity demostrando tareas de navegación colaborativa, ideal para ampliar y evaluar escenarios multi-agente en simulaciones.

multiagent-env es una biblioteca de Python de código abierto diseñada para simplificar la creación y evaluación de entornos de aprendizaje por refuerzo multiagente. Los usuarios pueden definir escenarios tanto cooperativos como adversariales especificando la cantidad de agentes, espacios de acción y observación, funciones de recompensa y la dinámica del entorno. Soporta visualización en tiempo real, renderizado configurable y fácil integración con marcos RL basados en Python como Stable Baselines y RLlib. El diseño modular permite prototipar rápidamente nuevos escenarios y comparar de manera sencilla algoritmos multiagente.

multiagent_envs ofrece un conjunto modular de entornos en Python diseñados para la investigación y desarrollo en aprendizaje por refuerzo multi-agente. Incluye escenarios como navegación cooperativa, depredador-presa, dilemas sociales y arenas competitivas. Cada entorno permite definir el número de agentes, características de observación, funciones de recompensa y dinámica de colisión. El framework se integra perfectamente con bibliotecas RL populares como Stable Baselines y RLlib, permitiendo bucles de entrenamiento vectorizados, ejecución paralela y registro sencillo. Los usuarios pueden extender escenarios existentes o crear otros nuevos mediante una API sencilla, acelerando la experimentación con algoritmos como MADDPG, QMIX y PPO en un entorno reproducible y consistente.

MADDPG escalable es un marco orientado a la investigación para el aprendizaje por refuerzo multiagente, ofreciendo una implementación escalable del algoritmo MADDPG. Cuenta con críticos centralizados durante el entrenamiento y actores independientes en tiempo de ejecución para estabilidad y eficiencia. La biblioteca incluye scripts Python para definir entornos personalizados, configurar arquitecturas de red y ajustar hiperparámetros. Los usuarios pueden entrenar múltiples agentes en paralelo, monitorear métricas y visualizar las curvas de aprendizaje. Se integra con entornos similares a OpenAI Gym y soporta aceleración GPU vía TensorFlow. Gracias a sus componentes modulares, MADDPG escalable permite experimentos flexibles en tareas multiagente cooperativas, competitivas o mixtas, facilitando prototipado rápido y benchmarking.

AutoDRIVE Cooperative MARL es un marco de código abierto diseñado para entrenar y desplegar políticas de aprendizaje por refuerzo multiactores cooperativos para tareas de conducción autónoma. Se integra con simuladores realistas para modelar escenarios de tráfico como intersecciones, formación de convoy en autopistas y escenarios de fusión. El marco implementa entrenamiento centralizado con ejecución descentralizada, permitiendo que los vehículos aprendan políticas compartidas que maximicen la eficiencia y seguridad del tráfico global. Los usuarios pueden configurar parámetros del entorno, escoger algoritmos MARL de referencia, visualizar el progreso del entrenamiento y evaluar la coordinación de los agentes.

DeepMind MAS Environment es una biblioteca en Python que proporciona una interfaz estandarizada para construir y simular tareas de aprendizaje por refuerzo multiagente. Permite a los usuarios configurar el número de agentes, definir los espacios de observación y acción, y personalizar las estructuras de recompensa. El marco soporta canales de comunicación entre agentes, registro de rendimiento y capacidades de renderizado. Los investigadores pueden integrar sin problemas DeepMind MAS Environment con bibliotecas RL populares como TensorFlow y PyTorch para evaluar nuevos algoritmos, probar protocolos de comunicación y analizar dominios de control discretos y continuos.

DEf-MARL (Marco de ejecución descentralizada para aprendizaje por refuerzo multi-agente) proporciona una infraestructura robusta para ejecutar y entrenar agentes cooperativos sin controladores centralizados. Utiliza protocolos de comunicación peer-to-peer para compartir políticas y observaciones entre agentes, permitiendo una coordinación mediante interacciones locales. El framework se integra perfectamente con toolkits RL comunes como PyTorch y TensorFlow, ofreciendo wrappers configurables, recopilación distribuida de rollout y módulos de sincronización de gradientes. Los usuarios pueden definir espacios de observación, funciones de recompensa y topologías de comunicación específicas para cada agente. DEf-MARL soporta adición y eliminación dinámica de agentes en tiempo de ejecución, ejecución tolerante a fallos mediante replicación del estado crítico en nodos, y planificación de comunicación adaptativa para equilibrar exploración y explotación. Acelera el entrenamiento paralizando simulaciones de entornos y reduciendo los cuellos de botella centrales, siendo adecuado para investigación MARL a gran escala y simulaciones industriales.

MADDPG-Keras ofrece un marco completo para la investigación en aprendizaje por refuerzo multiagente al implementar el algoritmo MADDPG en Keras. Admite espacios de acción continuos, múltiples agentes y entornos estándar de OpenAI Gym. Los investigadores y desarrolladores pueden configurar arquitecturas de redes neuronales, hiperparámetros de entrenamiento y funciones de recompensa, luego lanzar experimentos con registros integrados y puntos de control para acelerar el aprendizaje de políticas multiagente y la evaluación comparativa.

Mean-Field MARL proporciona un marco robusto en Python para implementar y evaluar algoritmos de aprendizaje por refuerzo multiagente de campo medio. Aproxima las interacciones en gran escala modelando el efecto medio de los vecinos mediante Q-learning de campo medio. La biblioteca incluye envoltorios de entornos, módulos de políticas de agentes, bucles de entrenamiento y métricas de evaluación, permitiendo entrenamiento escalable en cientos de agentes. Construido sobre PyTorch para aceleración GPU, soporta entornos personalizables como Particle World y Gridworld. Su diseño modular permite facilitar la extensión con nuevos algoritmos, mientras que las herramientas integradas de registro y visualización basadas en Matplotlib monitorean recompensas, curvas de pérdida y distribuciones de campo medio. Scripts de ejemplo y documentación guían a los usuarios en la configuración, experimentación y análisis de resultados, haciendo que sea ideal tanto para investigación como para prototipado de sistemas multiagente a gran escala.

Selective Reincarnation introduce un mecanismo de entrenamiento dinámico basado en población adaptado para MARL. La rendimiento de cada agente se evalúa periódicamente en función de umbrales predefinidos. Cuando el rendimiento de un agente cae por debajo de sus pares, sus pesos se restablecen a los del agente con mejor rendimiento actual, reencarnándolo con comportamientos probados. Este enfoque mantiene la diversidad restableciendo solo a los de bajo rendimiento, minimizando los restablecimientos destructivos y guiando la exploración hacia políticas de alto valor. Al permitir una herencia de parámetros de redes neuronales dirigida, la canalización reduce la varianza y acelera la convergencia en entornos cooperativos o competitivos. Compatible con cualquier algoritmo MARL basado en gradiente de políticas, la implementación se integra fácilmente en flujos de trabajo basados en PyTorch e incluye hiperparámetros configurables para la frecuencia de evaluación, criterios de selección y ajuste de estrategias de restablecimiento.

Patrolling-Zoo ofrece un marco flexible que permite a los usuarios crear y experimentar con tareas de patrulla multi-agente en Python. La biblioteca incluye una variedad de entornos basados en cuadrícula y en gráfico, simulando escenarios de vigilancia, monitoreo y cobertura. Los usuarios pueden configurar el número de agentes, el tamaño del mapa, la topología, las funciones de recompensa y los espacios de observación. Gracias a la compatibilidad con PettingZoo y las API de Gym, soporta una integración fluida con algoritmos populares de aprendizaje por refuerzo. Este entorno facilita el benchmarking y la comparación de técnicas MARL en configuraciones coherentes. Al proporcionar escenarios estándar y herramientas para crear otros nuevos, Patrolling-Zoo acelera la investigación en robótica autónoma, vigilancia de seguridad, operaciones de búsqueda y rescate, y cobertura eficiente de áreas utilizando estrategias de coordinación multi-agente.