MARL-DPP는 결정점 프로세스(DPP)를 통해 다양성을 강제하는 오픈소스 프레임워크입니다. 전통적인 MARL 접근법은 정책이 유사한 행동에 수렴하는 문제를 겪는데, MARL-DPP는 DPP 기반 지표를 활용하여 에이전트가 다양한 행동 분포를 유지하도록 장려합니다. 모듈형 코드를 제공하여 DPP를 훈련 목표, 정책 샘플링, 탐색 관리에 포함시키며, OpenAI Gym 및 Multi-Agent Particle Environment(MPE)와 즉시 통합됩니다. 또한 하이퍼파라미터 관리, 로깅, 다양성 메트릭 시각화 유틸리티를 포함합니다. 연구자는 협력적 과제, 자원 할당 및 경쟁 게임에서 다양성 제약의 영향을 평가할 수 있으며, 확장 가능한 설계 덕분에 사용자 정의 환경과 고급 알고리즘도 지원하여 새로운 MARL-DPP 변형을 탐구할 수 있습니다.

OpenSpiel은 간단한 행렬 게임부터 체스, 바둑, 포커와 같은 복잡한 보드게임까지 다양한 환경을 제공하며, 가치 반복, 정책 기울기, MCTS 등 여러 강화학습 및 검색 알고리즘을 구현하고 있습니다. 모듈식 C++ 핵심과 Python 바인딩을 통해 사용자 정의 알고리즘을 통합하거나, 새로운 게임을 정의하거나, 표준 벤치마크에서 성능을 비교할 수 있습니다. 확장성을 고려하여 설계되어 있으며, 단일 에이전트 및 다중 에이전트 설정을 지원하여 협력적이고 경쟁적인 시나리오 연구가 가능합니다. 연구자들은 OpenSpiel을 활용하여 빠르게 알고리즘을 프로토타입하고, 대규모 실험을 수행하며, 재현 가능한 코드를 공유합니다.

PettingZoo 게임을 위한 강화 학습 에이전트는 Python 기반 코드 라이브러리로, PettingZoo 환경에서 사용할 수 있는 다중 에이전트 RL용 DQN, PPO 및 A2C 알고리즘을 즉시 제공하며 표준화된 훈련 및 평가 스크립트, 조정 가능한 하이퍼파라미터, TensorBoard 로깅, 경쟁 및 협력 게임 지원 등을 갖추고 있습니다. 연구원과 개발자는 이 저장소를 클론하여 환경 및 알고리즘 파라미터를 조정하고, 훈련 세션을 실행하며, 메트릭을 시각화하여 빠르게 실험하고 비교할 수 있습니다.