CommNet es una biblioteca orientada a la investigación que implementa la arquitectura CommNet, permitiendo que múltiples agentes compartan estados ocultos en cada paso temporal y aprendan a coordinar acciones en entornos cooperativos. Incluye definiciones de modelos en PyTorch, scripts de entrenamiento y evaluación, envoltorios para entornos OpenAI Gym y utilidades para personalizar canales de comunicación, conteo de agentes y profundidades de red. Investigadores y desarrolladores pueden usar CommNet para prototipar y evaluar estrategias de comunicación entre agentes en tareas de navegación, persecución-salvación y recolección de recursos.

Selective Reincarnation introduce un mecanismo de entrenamiento dinámico basado en población adaptado para MARL. La rendimiento de cada agente se evalúa periódicamente en función de umbrales predefinidos. Cuando el rendimiento de un agente cae por debajo de sus pares, sus pesos se restablecen a los del agente con mejor rendimiento actual, reencarnándolo con comportamientos probados. Este enfoque mantiene la diversidad restableciendo solo a los de bajo rendimiento, minimizando los restablecimientos destructivos y guiando la exploración hacia políticas de alto valor. Al permitir una herencia de parámetros de redes neuronales dirigida, la canalización reduce la varianza y acelera la convergencia en entornos cooperativos o competitivos. Compatible con cualquier algoritmo MARL basado en gradiente de políticas, la implementación se integra fácilmente en flujos de trabajo basados en PyTorch e incluye hiperparámetros configurables para la frecuencia de evaluación, criterios de selección y ajuste de estrategias de restablecimiento.