CommNet est une bibliothèque orientée recherche qui implémente l'architecture CommNet, permettant à plusieurs agents de partager des états cachés à chaque étape et d'apprendre à coordonner leurs actions dans des environnements coopératifs. Elle inclut des définitions de modèles PyTorch, des scripts d'entraînement et d'évaluation, des wrappers d'environnement pour OpenAI Gym et des utilitaires pour personnaliser les canaux de communication, le nombre d'agents et la profondeur du réseau. Chercheurs et développeurs peuvent utiliser CommNet pour prototyper et benchmarker des stratégies de communication inter-agent sur des tâches de navigation, de poursuite–évasion et de collecte de ressources.

Selective Reincarnation introduit un mécanisme d'entraînement basé sur une population dynamique, adapté au renforcement multi-agent. La performance de chaque agent est régulièrement évaluée par rapport à des seuils prédéfinis. Lorsqu'un agent tombe en dessous de la performance de ses pairs, ses poids sont réinitialisés à ceux de l'agent actuel le mieux performant, le réincarnant ainsi avec des comportements éprouvés. Cette approche maintient la diversité en ne réinitialisant que les agents sous-performants, minimisant ainsi les resets destructeurs tout en orientant l'exploration vers des politiques à haute récompense. En permettant une héritage ciblé des paramètres du réseau neuronal, la pipeline réduit la variance et accélère la convergence dans des environnements multi-agent coopératifs ou compétitifs. Compatible avec tout algorithme MARL basé sur la gradient de politique, l'implémentation s'intègre parfaitement dans les workflows basés sur PyTorch et inclut des hyperparamètres configurables pour la fréquence d'évaluation, les critères de sélection et le réglage de la stratégie de reset.