CommNet é uma biblioteca orientada à pesquisa que implementa a arquitetura CommNet, permitindo que múltiplos agentes compartilhem estados ocultos em cada passo de tempo e aprendam a coordenar ações em ambientes cooperativos. Inclui definições de modelos PyTorch, scripts de treinamento e avaliação, wrappers de ambientes para OpenAI Gym e utilitários para personalizar canais de comunicação, contagem de agentes e profundidade da rede. Pesquisadores e desenvolvedores podem usar o CommNet para prototipar e fazer benchmarking de estratégias de comunicação entre agentes em tarefas de navegação, perseguição-evitação e coleta de recursos.

Selective Reincarnation introduz um mecanismo de treinamento dinâmico baseado em população, adaptado ao MARL. O desempenho de cada agente é avaliado regularmente em relação a limites predefinidos. Quando o desempenho de um agente cai abaixo de seus pares, seus pesos são redefinidos para os do agente com melhor desempenho atual, reencarnando-o com comportamentos comprovados. Essa abordagem mantém a diversidade ao redefinir apenas os menos eficazes, minimizando redefinições destrutivas enquanto direciona a exploração para políticas de alta recompensa. Permitindo herança direcionada de parâmetros de redes neurais, a plataforma reduz a variância e acelera a convergência em ambientes cooperativos ou competitivos. Compatível com qualquer algoritmo MARL baseado em gradiente de política, a implementação se integra facilmente aos fluxos de trabalho baseados em PyTorch e inclui hiperparâmetros configuráveis para frequência de avaliação, critérios de seleção e ajuste de estratégias de redefinição.