VacuumWorld는 다중 에이전트 강화 학습 알고리즘의 개발 및 평가를 촉진하기 위한 오픈소스 시뮬레이션 플랫폼입니다. 가상 진공 청소기 에이전트가 작동하여 맞춤형 레이아웃에서 먼지 패치를 감지하고 제거하는 격자 기반 환경을 제공합니다. 사용자는 격자 크기, 먼지 분포, 확률적 이동 잡음, 보상 구조 등 다양한 시나리오를 모델링할 수 있습니다. 내장 통신 프로토콜, 실시간 시각화 대시보드, 성능 추적을 위한 로깅 유틸리티도 포함되어 있습니다. 간단한 Python API를 통해 연구자들은 자신의 RL 알고리즘을 빠르게 통합하고, 협력 또는 경쟁 전략을 비교하며, 재현 가능한 실험을 수행할 수 있어 학술 연구와 교육에 적합합니다.

확장 가능한 MADDPG는 연구 중심의 다중 에이전트 강화 학습 프레임워크로, MADDPG 알고리즘의 확장 가능한 구현을 제공하며, 훈련 중 중앙 집중식 크리틱과 실행 시 독립적 액터를 특징으로 하여 안정성과 효율성을 도모합니다. 이 라이브러리에는 사용자 정의 환경 정의, 네트워크 아키텍처 구성, 하이퍼파라미터 조정용 파이썬 스크립트가 포함되어 있으며, 사용자들은 병렬로 여러 에이전트를 훈련하고, 지표를 모니터링하며, 학습 곡선을 시각화할 수 있습니다. 또한 OpenAI Gym과 유사한 환경과 GPU 가속(TensorFlow 지원)을 지원하며, 모듈형 구성요소를 통해 협력, 경쟁 또는 혼합 다중 에이전트 과제에 대한 유연한 실험과 빠른 프로토타이핑, 벤치마킹을 가능하게 합니다.