MARTI (Toolkit e Interfaz de Aprendizaje por Refuerzo Multiagente) es un marco orientado a la investigación que simplifica el desarrollo, evaluación y evaluación comparativa de algoritmos RL multiagente. Ofrece una arquitectura plug-and-play donde los usuarios pueden configurar entornos personalizados, políticas de agentes, estructuras de recompensas y protocolos de comunicación. MARTI se integra con bibliotecas de aprendizaje profundo populares, soporta aceleración GPU y entrenamiento distribuido, y genera registros y visualizaciones detalladas para análisis de rendimiento. El diseño modular del paquete permite la creación rápida de prototipos de enfoques novedosos y comparaciones sistemáticas con líneas base estándar, siendo ideal para investigaciones académicas y proyectos piloto en sistemas autónomos, robótica, IA de juegos y escenarios cooperativos multiagente.

Pits and Orbs es un entorno de código abierto para aprendizaje por refuerzo, implementado en Python, que ofrece un mundo en una cuadrícula multi-agente por turnos donde los agentes persiguen objetivos y enfrentan peligros ambientales. Cada agente debe navegar en una cuadrícula ajustable, evitar trampas colocadas aleatoriamente que penalizan o terminan episodios, y recolectar orbes para recompensas positivas. El entorno soporta modos competitivos y cooperativos, permitiendo a investigadores explorar diversos escenarios de aprendizaje. Su API simple se integra perfectamente con bibliotecas RL populares como Stable Baselines o RLlib. Características principales incluyen dimensiones de cuadrícula ajustables, distribuciones dinámicas de trampas y orbes, estructuras de recompensa configurables y registro opcional para análisis del entrenamiento.

MultiAgentModel proporciona una API unificada para definir entornos personalizados y clases de agentes para escenarios multiagentes. Los desarrolladores pueden especificar espacios de observación y acción, estructuras de recompensa y canales de comunicación. La compatibilidad con algoritmos RL populares como PPO, DQN y A2C permite entrenar con una configuración mínima. Las herramientas de visualización en tiempo real ayudan a monitorear las interacciones de los agentes y las métricas de rendimiento. La arquitectura modular garantiza una fácil integración de nuevos algoritmos y módulos personalizados. También incluye un sistema de configuración flexible para ajuste de hiperparámetros, utilidades de registro para seguimiento de experimentos y compatibilidad con entornos OpenAI Gym para portabilidad sin problemas. Los usuarios pueden colaborar en entornos compartidos y reproducir sesiones registradas para análisis.