MARL-DPP es un marco de código abierto que permite el aprendizaje por refuerzo multiagente (MARL) con diversidad impuesta mediante Procesos Determinantales (DPP). Los enfoques MARL tradicionales suelen sufrir de convergencia de políticas hacia comportamientos similares; MARL-DPP aborda esto incorporando medidas basadas en DPP para fomentar que los agentes mantengan distribuciones de acciones diversas. El kit de herramientas proporciona código modular para integrar DPP en objetivos de entrenamiento, muestreo de políticas y gestión de exploración. Incluye integración lista para usar con entornos estándar como OpenAI Gym y el Entorno de Partículas Multi-Agente (MPE), además de utilidades para gestión de hiperparámetros, registro y visualización de métricas de diversidad. Los investigadores pueden evaluar el impacto de las restricciones de diversidad en tareas cooperativas, asignación de recursos y juegos competitivos. Su diseño extensible soporta entornos personalizados y algoritmos avanzados, facilitando la exploración de variantes nuevas de MARL-DPP.

El simulador MARL está diseñado para facilitar el desarrollo eficiente y escalable de algoritmos de aprendizaje por refuerzo multiagente (MARL). Aprovechando el backend distribuido de PyTorch, permite a los usuarios ejecutar entrenamiento paralelo en múltiples GPUs o nodos, reduciendo significativamente el tiempo de experimentos. El simulador ofrece una interfaz modular de entorno que soporta escenarios de referencia estándar — como navegación cooperativa, depredador-presa y mundo en cuadrícula — así como entornos personalizados definidos por el usuario. Los agentes pueden utilizar diversos protocolos de comunicación para coordinar acciones, compartir observaciones y sincronizar recompensas. Espacios de recompensa y observación configurables permiten un control preciso de la dinámica de entrenamiento, mientras que herramientas integradas de registro y visualización proporcionan información en tiempo real sobre métricas de rendimiento.

MARTI (Toolkit e Interfaz de Aprendizaje por Refuerzo Multiagente) es un marco orientado a la investigación que simplifica el desarrollo, evaluación y evaluación comparativa de algoritmos RL multiagente. Ofrece una arquitectura plug-and-play donde los usuarios pueden configurar entornos personalizados, políticas de agentes, estructuras de recompensas y protocolos de comunicación. MARTI se integra con bibliotecas de aprendizaje profundo populares, soporta aceleración GPU y entrenamiento distribuido, y genera registros y visualizaciones detalladas para análisis de rendimiento. El diseño modular del paquete permite la creación rápida de prototipos de enfoques novedosos y comparaciones sistemáticas con líneas base estándar, siendo ideal para investigaciones académicas y proyectos piloto en sistemas autónomos, robótica, IA de juegos y escenarios cooperativos multiagente.

Selective Reincarnation introduce un mecanismo de entrenamiento dinámico basado en población adaptado para MARL. La rendimiento de cada agente se evalúa periódicamente en función de umbrales predefinidos. Cuando el rendimiento de un agente cae por debajo de sus pares, sus pesos se restablecen a los del agente con mejor rendimiento actual, reencarnándolo con comportamientos probados. Este enfoque mantiene la diversidad restableciendo solo a los de bajo rendimiento, minimizando los restablecimientos destructivos y guiando la exploración hacia políticas de alto valor. Al permitir una herencia de parámetros de redes neuronales dirigida, la canalización reduce la varianza y acelera la convergencia en entornos cooperativos o competitivos. Compatible con cualquier algoritmo MARL basado en gradiente de políticas, la implementación se integra fácilmente en flujos de trabajo basados en PyTorch e incluye hiperparámetros configurables para la frecuencia de evaluación, criterios de selección y ajuste de estrategias de restablecimiento.