MARTI(다중 에이전트 강화 학습 툴킷 및 인터페이스)는 다중 에이전트 RL 알고리즘의 개발, 평가 및 벤치마킹을 간소화하는 연구 중심 프레임워크입니다. 사용자 정의 환경, 에이전트 정책, 보상 구조, 통신 프로토콜을 구성할 수 있는 플러그 앤 플레이 아키텍처를 제공합니다. MARTI는 인기 딥러닝 라이브러리와 통합되며, GPU 가속 및 분산 훈련을 지원하며, 성능 분석을 위한 상세 로그와 시각화를 생성합니다. 모듈식 설계 덕분에 새로운 접근법의 빠른 프로토타이핑과 표준 베이스라인과의 체계적 비교가 가능하며, 자율 시스템, 로보틱스, 게임 AI, 협력 멀티에이전트 시나리오 등의 분야에 이상적입니다.

Pits and Orbs는 Python으로 구현된 오픈소스 강화 학습 환경으로, 에이전트가 목표를 추구하고 환경 위험에 직면하는 턴 기반 다중 에이전트 그리드 월드를 제공합니다. 각 에이전트는 사용자 정의 가능한 격자를 탐색하며, 페널티를 부여하거나 에피소드를 종료하는 무작위로 배치된 함정을 피하고, 긍정적인 보상을 위해 구슬을 모아야 합니다. 이 환경은 경쟁 모드와 협력 모드를 모두 지원하며, 연구자들이 다양한 학습 시나리오를 탐구할 수 있게 합니다. 간단한 API는 Stable Baselines 또는 RLlib과 같은 인기 RL 라이브러리와 원활하게 통합됩니다. 주요 기능으로는 조정 가능한 격자 크기, 동적 함정 및 구슬 분포, 구성 가능한 보상 구조, 그리고 훈련 분석을 위한 선택적 로깅이 포함됩니다.

MultiAgentModel은 멀티에이전트 시나리오를 위한 맞춤형 환경 및 에이전트 클래스를 정의하는 통합 API를 제공합니다. 개발자는 관측 및 행동 공간, 보상 구조, 통신 채널을 지정할 수 있습니다. PPO, DQN, A2C와 같은 인기 RL 알고리즘을 기본 지원하여 최소한의 구성으로 훈련할 수 있습니다. 실시간 시각화 도구를 통해 에이전트 상호작용과 성능 지표를 모니터링합니다. 모듈식 아키텍처는 새로운 알고리즘과 맞춤형 모듈의 손쉬운 통합을 가능하게 하며, 하이퍼파라미터 튜닝을 위한 유연한 구성 시스템, 실험 추적을 위한 로깅 유틸리티, 원활한 포터블성을 위한 OpenAI Gym 환경과의 호환성을 포함합니다. 사용자들은 공유 환경에서 협력하거나, 기록된 세션을 재생하여 분석할 수 있습니다.