MARL Simulator는 효율적이고 확장 가능한 다중 에이전트 강화 학습(MARL) 알고리즘 개발을 촉진하기 위해 설계되었습니다. PyTorch의 분산 백엔드를 활용하여 사용자가 여러 GPU 또는 노드에서 병렬 학습을 실행할 수 있도록 하여 실험 시간을 크게 줄입니다. 시뮬레이터는 협력 내비게이션, 포식자-피식자, 격자 세계 등과 사용자 정의 환경을 지원하는 모듈형 환경 인터페이스를 제공합니다. 에이전트는 다양한 통신 프로토콜을 활용하여 행동을 조정하고, 관측을 공유하며, 보상을 동기화할 수 있습니다. 구성 가능한 보상 및 관측 공간은 학습 역학에 세밀한 제어를 가능하게 하며, 내장 로깅 및 시각화 도구는 성능 지표에 대한 실시간 통찰력을 제공합니다.

이 저장소는 PyTorch를 사용하여 다중 에이전트 강화학습에서 출현하는 커뮤니케이션을 구현합니다. 사용자들은 송신자와 수신자 신경망을 구성하여 참조 게임이나 협력 네비게이션을 수행하게 하고, 에이전트들이 이산 또는 연속 통신 채널을 개발하도록 격려합니다. 학습, 평가, 학습된 프로토콜 시각화 스크립트와 환경 생성, 메시지 인코딩/디코딩 유틸리티를 제공합니다. 연구자들은 맞춤형 작업을 확장하거나 네트워크 구조를 변경하고, 프로토콜 효율성을 분석하여 빠른 실험을 촉진할 수 있습니다.

Vanilla Agents는 핵심 강화 학습 에이전트의 모듈형 및 확장 가능한 구현을 제공하는 경량 PyTorch 기반 프레임워크입니다. DQN, Double DQN, PPO, A2C와 같은 알고리즘을 지원하며, OpenAI Gym과 호환 가능한 플러그인 환경 래퍼를 갖추고 있습니다. 사용자는 하이퍼파라미터를 조정하고, 학습 메트릭을 로깅하며, 체크포인트를 저장하고, 학습 곡선을 시각화할 수 있습니다. 코드베이스는 명확하게 구성되어 있어 연구 프로토타이핑, 교육용, 새 아이디어의 벤치마킹에 이상적입니다.