MAPF_G2RL은 그래프 이론과 딥 강화 학습을 연결하여 다중 에이전트 경로 탐색(MAPF) 문제를 해결하는 오픈소스 연구 프레임워크입니다. 노드와 엣지를 벡터 표현으로 인코딩하고, 공간적 및 충돌 인지 보상 함수를 정의하며, DQN, PPO, A2C와 같은 다양한 RL 알고리즘을 지원합니다. 이 프레임워크는 랜덤 그래프 생성 또는 실제 지도 임포트로 시나리오 생성을 자동화하고, 동시에 여러 에이전트의 정책을 최적화하는 훈련 루프를 조율합니다. 학습 후, 에이전트는 시뮬레이션 환경에서 경로 최적성, 소요 시간, 성공률을 평가합니다. 모듈형 설계로 연구자는 핵심 컴포넌트를 확장하고, 새로운 MARL 기법을 통합하며, 기존 솔버와 비교 벤치마킹할 수 있습니다.

Mava는 다중 에이전트 강화 학습 시스템 개발, 훈련, 평가를 위한 JAX 기반 오픈소스 라이브러리입니다. MAPPO와 MADDPG 같은 협력 및 경쟁 알고리즘의 사전 구현과 단일 노드 및 분산 워크플로우를 지원하는 구성 가능한 훈련 루프를 제공합니다. 연구자는 PettingZoo에서 환경을 가져오거나 커스텀 환경을 정의할 수 있으며, 정책 최적화, 재생 버퍼 관리, 메트릭 로깅을 위한 Mava의 모듈형 구성요소를 사용할 수 있습니다. 프레임워크의 유연한 구조는 새로운 알고리즘, 사용자 정의 관측 공간, 보상 구조의 원활한 통합을 가능하게 합니다. JAX의 자동 벡터화 및 하드웨어 가속 기능을 활용하여 Mava는 효율적인 대규모 실험과 다양한 다중 에이전트 시나리오에서의 재현 가능한 벤치마킹을 보장합니다.

MAGAIL은 전문가 시범에서 협력 행동을 학습할 수 있도록 하는 다중 에이전트 확장을 구현한 것으로, 파이썬 기반으로 PyTorch(또는 TensorFlow 버전)를 지원하며, 정책(생성기)과 판별자 모듈이 적대적 루프에서 훈련됩니다. 에이전트는 OpenAI Multi-Agent Particle Environment 또는 PettingZoo와 같은 환경에서 궤적을 생성하며, 판별자는 이를 전문 데이터와 일치 여부를 평가하는 데 사용합니다. 반복적인 업데이트를 통해 정책 네트워크는 명시적 보상 함수 없이 전문가와 유사한 전략으로 수렴합니다. MAGAIL의 모듈형 설계는 네트워크 구조, 전문가 데이터 입력, 환경 통합, 학습 하이퍼파라미터를 사용자 정의할 수 있도록 합니다. 또한, 내장된 로깅과 TensorBoard 시각화를 통해 멀티에이전트 학습의 진행 상황과 성능 지표를 모니터링하고 분석할 수 있습니다.

jason-RL은 Jason 멀티 에이전트 프레임워크에 강화학습 계층을 추가하여, AgentSpeak BDI 에이전트가 보상 피드백을 통해 행동 선택 정책을 학습할 수 있게 합니다. Q-학습과 SARSA 알고리즘을 구현하며, 학습 매개변수(학습률, 할인 인자, 탐색 전략) 설정 지원과 학습 지표 로그 기록이 가능합니다. 에이전트 계획 내에 보상 함수를 정의하고 시뮬레이션을 수행함으로써, 개발자는 시간이 지남에 따라 에이전트의 의사결정이 향상되고 환경 변화에 적응하는 모습을 관찰할 수 있습니다.