MARTI (Toolkit e Interfaz de Aprendizaje por Refuerzo Multiagente) es un marco orientado a la investigación que simplifica el desarrollo, evaluación y evaluación comparativa de algoritmos RL multiagente. Ofrece una arquitectura plug-and-play donde los usuarios pueden configurar entornos personalizados, políticas de agentes, estructuras de recompensas y protocolos de comunicación. MARTI se integra con bibliotecas de aprendizaje profundo populares, soporta aceleración GPU y entrenamiento distribuido, y genera registros y visualizaciones detalladas para análisis de rendimiento. El diseño modular del paquete permite la creación rápida de prototipos de enfoques novedosos y comparaciones sistemáticas con líneas base estándar, siendo ideal para investigaciones académicas y proyectos piloto en sistemas autónomos, robótica, IA de juegos y escenarios cooperativos multiagente.

El proyecto Sistema Robótico Multi-Agente ofrece una plataforma modular basada en Python para desarrollar, simular y desplegar equipos robóticos cooperativos. En su núcleo, implementa estrategias de control descentralizado, permitiendo que los robots compartan información de estado y asignen tareas de forma colaborativa sin un coordinador central. El sistema incluye módulos integrados para planificación de rutas, evitación de colisiones, mapeo de entornos y programación dinámica de tareas. Los desarrolladores pueden integrar nuevos algoritmos extendiendo las interfaces proporcionadas, ajustar los protocolos de comunicación mediante archivos de configuración y visualizar las interacciones de los robots en entornos simulados. Compatible con ROS, soporta transiciones sin problemas desde la simulación hasta despliegues en hardware real. Este marco acelera la investigación al proporcionar componentes reutilizables para comportamiento en enjambre, exploración colaborativa y experimentos de automatización en almacenes.

NeuralABM es una biblioteca de código abierto en Python que aprovecha PyTorch para integrar redes neuronales en el modelado basado en agentes. Los usuarios pueden especificar arquitecturas de agentes como módulos neuronales, definir dinámicas del entorno y entrenar comportamientos de agentes mediante retropropagación en pasos de simulación. El framework soporta señales de recompensa personalizadas, aprendizaje por currículo y actualizaciones síncronas o asíncronas, permitiendo estudiar fenómenos emergentes. Con utilidades para registro, visualización y exportación de conjuntos de datos, investigadores y desarrolladores pueden analizar el rendimiento de los agentes, depurar modelos y iterar en el diseño de simulaciones. NeuralABM simplifica la combinación de aprendizaje por refuerzo con ABM para aplicaciones en ciencias sociales, economía, robótica y comportamientos de NPC en juegos impulsados por IA. Ofrece componentes modulares para personalizar entornos, soporta interacciones multi-agente y proporciona hooks para integrar conjuntos de datos externos o API en simulaciones del mundo real. El diseño abierto fomenta la reproducibilidad y colaboración mediante una configuración clara de experimentos y la integración con control de versiones.

NKC Modelos Multi-Agente proporciona a investigadores y desarrolladores un conjunto completo de herramientas para diseñar, entrenar y evaluar sistemas de aprendizaje por refuerzo multiagente. Presenta una arquitectura modular donde los usuarios definen políticas de agentes personalizadas, dinámicas de entorno y estructuras de recompensa. La integración sin problemas con OpenAI Gym permite prototipado rápido, mientras que el soporte para TensorFlow y PyTorch ofrece flexibilidad en la selección de plataformas de aprendizaje. El marco incluye utilidades para reproducción de experiencias, entrenamiento centralizado con ejecución descentralizada y entrenamiento distribuido en múltiples GPU. Módulos extensivos de registro y visualización capturan métricas de rendimiento, facilitando la evaluación y ajuste de hiperparámetros. Al simplificar la configuración de escenarios cooperativos, competitivos y de motiva mixtos, NKC Modelos Multi-Agente acelera la experimentación en dominios como vehículos autónomos, enjambres robóticos y AI en juegos.

CASA está diseñada como un marco de autonomía modular, plug-and-play, basado en el ecosistema Robot Operating System (ROS). Presenta una arquitectura descentralizada donde cada robot ejecuta planificadores locales y nodos de árboles de comportamiento, publicando en una pizarra compartida para actualizaciones del estado del mundo. La asignación de tareas se gestiona mediante algoritmos de subasta que asignan misiones en función de las capacidades y disponibilidad del robot. La capa de comunicación usa mensajes ROS estándar en redes multi-robot para sincronizar los agentes. Los desarrolladores pueden personalizar parámetros de misión, integrar controladores de sensores y ampliar las bibliotecas de comportamiento. CASA soporta simulación de escenarios, monitoreo en tiempo real y herramientas de registro. Su diseño extensible permite a los equipos de investigación experimentar con nuevos algoritmos de coordinación y desplegar sin problemas en diversas plataformas robóticas, desde vehículos terrestres no tripulados hasta drones aéreos.

Patrolling-Zoo ofrece un marco flexible que permite a los usuarios crear y experimentar con tareas de patrulla multi-agente en Python. La biblioteca incluye una variedad de entornos basados en cuadrícula y en gráfico, simulando escenarios de vigilancia, monitoreo y cobertura. Los usuarios pueden configurar el número de agentes, el tamaño del mapa, la topología, las funciones de recompensa y los espacios de observación. Gracias a la compatibilidad con PettingZoo y las API de Gym, soporta una integración fluida con algoritmos populares de aprendizaje por refuerzo. Este entorno facilita el benchmarking y la comparación de técnicas MARL en configuraciones coherentes. Al proporcionar escenarios estándar y herramientas para crear otros nuevos, Patrolling-Zoo acelera la investigación en robótica autónoma, vigilancia de seguridad, operaciones de búsqueda y rescate, y cobertura eficiente de áreas utilizando estrategias de coordinación multi-agente.