MARL-DPP é uma estrutura de código aberto que permite aprendizado por reforço multiagente (MARL) com diversidade garantida através de Processos de Pontos Determinantes (DPP). Abordagens tradicionais de MARL frequentemente sofrem de convergência de políticas para comportamentos semelhantes; MARL-DPP aborda isso incorporando medidas baseadas em DPP para encorajar os agentes a manter distribuições de ações diversas. O kit de ferramentas fornece código modular para incorporar DPP nos objetivos de treinamento, amostragem de políticas e gerenciamento de exploração. Inclui integração pronta para uso com ambientes padrão do OpenAI Gym e do Ambiente de Partículas Multiagente (MPE), além de utilitários para gerenciamento de hiperparâmetros, registro e visualização de métricas de diversidade. Pesquisadores podem avaliar o impacto de restrições de diversidade em tarefas cooperativas, alocação de recursos e jogos competitivos. O design extensível suporta ambientes personalizados e algoritmos avançados, facilitando a exploração de variantes do MARL-DPP.

O MARL Simulator foi projetado para facilitar o desenvolvimento eficiente e escalável de algoritmos de aprendizagem por reforço multiagente (MARL). Aproveitando o backend distribuído do PyTorch, permite que os usuários executem treinamentos paralelos em várias GPUs ou nós, reduzindo significativamente o tempo de experimentação. O simulador oferece uma interface de ambiente modular que suporta cenários padrão de referência — como navegação cooperativa, predador-vítima e mundo em grade — bem como ambientes personalizados definidos pelo usuário. Os agentes podem usar vários protocolos de comunicação para coordenar ações, compartilhar observações e sincronizar recompensas. Espaços de recompensa e observação configuráveis permitem um controle detalhado sobre a dinâmica de treinamento, enquanto ferramentas integradas de registro e visualização fornecem insights em tempo real sobre métricas de desempenho.

A MARTI (Toolkit e Interface de Aprendizado por Reforço Multiagente) é uma estrutura orientada à pesquisa que agiliza o desenvolvimento, avaliação e benchmarking de algoritmos de RL multiagente. Oferece uma arquitetura plug-and-play onde os usuários podem configurar ambientes personalizados, políticas de agentes, estruturas de recompensas e protocolos de comunicação. A MARTI integra-se com bibliotecas populares de deep learning, suporta aceleração por GPU e treinamento distribuído, e gera registros detalhados e visualizações para análise de desempenho. O design modular da caixa de ferramentas permite rápida prototipagem de abordagens inovadoras e comparação sistemática com bases padrão, tornando-a ideal para pesquisa acadêmica e projetos pilotos em sistemas autônomos, robótica, IA de jogos e cenários cooperativos multiagentes.

Selective Reincarnation introduz um mecanismo de treinamento dinâmico baseado em população, adaptado ao MARL. O desempenho de cada agente é avaliado regularmente em relação a limites predefinidos. Quando o desempenho de um agente cai abaixo de seus pares, seus pesos são redefinidos para os do agente com melhor desempenho atual, reencarnando-o com comportamentos comprovados. Essa abordagem mantém a diversidade ao redefinir apenas os menos eficazes, minimizando redefinições destrutivas enquanto direciona a exploração para políticas de alta recompensa. Permitindo herança direcionada de parâmetros de redes neurais, a plataforma reduz a variância e acelera a convergência em ambientes cooperativos ou competitivos. Compatível com qualquer algoritmo MARL baseado em gradiente de política, a implementação se integra facilmente aos fluxos de trabalho baseados em PyTorch e inclui hiperparâmetros configuráveis para frequência de avaliação, critérios de seleção e ajuste de estratégias de redefinição.