MARL-DPP는 결정점 프로세스(DPP)를 통해 다양성을 강제하는 오픈소스 프레임워크입니다. 전통적인 MARL 접근법은 정책이 유사한 행동에 수렴하는 문제를 겪는데, MARL-DPP는 DPP 기반 지표를 활용하여 에이전트가 다양한 행동 분포를 유지하도록 장려합니다. 모듈형 코드를 제공하여 DPP를 훈련 목표, 정책 샘플링, 탐색 관리에 포함시키며, OpenAI Gym 및 Multi-Agent Particle Environment(MPE)와 즉시 통합됩니다. 또한 하이퍼파라미터 관리, 로깅, 다양성 메트릭 시각화 유틸리티를 포함합니다. 연구자는 협력적 과제, 자원 할당 및 경쟁 게임에서 다양성 제약의 영향을 평가할 수 있으며, 확장 가능한 설계 덕분에 사용자 정의 환경과 고급 알고리즘도 지원하여 새로운 MARL-DPP 변형을 탐구할 수 있습니다.

MARL Simulator는 효율적이고 확장 가능한 다중 에이전트 강화 학습(MARL) 알고리즘 개발을 촉진하기 위해 설계되었습니다. PyTorch의 분산 백엔드를 활용하여 사용자가 여러 GPU 또는 노드에서 병렬 학습을 실행할 수 있도록 하여 실험 시간을 크게 줄입니다. 시뮬레이터는 협력 내비게이션, 포식자-피식자, 격자 세계 등과 사용자 정의 환경을 지원하는 모듈형 환경 인터페이스를 제공합니다. 에이전트는 다양한 통신 프로토콜을 활용하여 행동을 조정하고, 관측을 공유하며, 보상을 동기화할 수 있습니다. 구성 가능한 보상 및 관측 공간은 학습 역학에 세밀한 제어를 가능하게 하며, 내장 로깅 및 시각화 도구는 성능 지표에 대한 실시간 통찰력을 제공합니다.

MARTI(다중 에이전트 강화 학습 툴킷 및 인터페이스)는 다중 에이전트 RL 알고리즘의 개발, 평가 및 벤치마킹을 간소화하는 연구 중심 프레임워크입니다. 사용자 정의 환경, 에이전트 정책, 보상 구조, 통신 프로토콜을 구성할 수 있는 플러그 앤 플레이 아키텍처를 제공합니다. MARTI는 인기 딥러닝 라이브러리와 통합되며, GPU 가속 및 분산 훈련을 지원하며, 성능 분석을 위한 상세 로그와 시각화를 생성합니다. 모듈식 설계 덕분에 새로운 접근법의 빠른 프로토타이핑과 표준 베이스라인과의 체계적 비교가 가능하며, 자율 시스템, 로보틱스, 게임 AI, 협력 멀티에이전트 시나리오 등의 분야에 이상적입니다.

Selective Reincarnation은 멀티 에이전트 강화 학습에 맞춘 동적 인구 기반 훈련 메커니즘을 도입합니다. 각 에이전트의 성과는 미리 정의된 임계값에 따라 정기적으로 평가됩니다. 에이전트의 성과가 임계값 이하로 떨어지면, 그 가중치는 현재 최고 성과 에이전트의 가중치로 재설정되어 검증된 행동을 재현합니다. 이 접근 방식은 저성과 에이전트만 재설정하여 다양성을 유지하며, 파괴적인 재설정을 최소화하면서 고보상 정책으로의 탐색을 유도합니다. 신경망 매개변수의 선택적 유산(전달)을 가능하게 하여, 분산 또는 협력 환경에서의 분산성을 줄이고 수렴 속도를 높입니다. 정책 기울기 기반 MARL 알고리즘과 호환되며, 평가 주기, 선택 기준, 재설정 전략 조정을 위한 구성 가능한 하이퍼파라미터를 포함합니다.