MARL-DPP는 결정점 프로세스(DPP)를 통해 다양성을 강제하는 오픈소스 프레임워크입니다. 전통적인 MARL 접근법은 정책이 유사한 행동에 수렴하는 문제를 겪는데, MARL-DPP는 DPP 기반 지표를 활용하여 에이전트가 다양한 행동 분포를 유지하도록 장려합니다. 모듈형 코드를 제공하여 DPP를 훈련 목표, 정책 샘플링, 탐색 관리에 포함시키며, OpenAI Gym 및 Multi-Agent Particle Environment(MPE)와 즉시 통합됩니다. 또한 하이퍼파라미터 관리, 로깅, 다양성 메트릭 시각화 유틸리티를 포함합니다. 연구자는 협력적 과제, 자원 할당 및 경쟁 게임에서 다양성 제약의 영향을 평가할 수 있으며, 확장 가능한 설계 덕분에 사용자 정의 환경과 고급 알고리즘도 지원하여 새로운 MARL-DPP 변형을 탐구할 수 있습니다.

Multi-Agent Miners는 여러 자율 광부 에이전트들이 이동하고 채굴하며 자원을 수집하는 그리드 월드 환경을 제공합니다. 설정 가능한 맵 크기, 에이전트 수, 보상 구조를 지원하며 경쟁 또는 협력 시나리오를 생성할 수 있습니다. 프레임워크는 PettingZoo를 통해 인기 있는 RL 라이브러리와 통합되어 재설정, 단계 및 렌더링 함수에 대한 표준 API를 제공합니다. 시각화 모드와 로깅 지원으로 행동과 결과 분석이 가능하며, 연구, 교육 및 알고리즘 벤치마킹에 적합합니다.

이 저장소는 MADDPG, DDPG, PPO 등을 비롯한 완전한 다중 에이전트 강화 학습 알고리즘 세트를 표준 벤치마크인 Multi-Agent Particle Environment와 OpenAI Gym과 통합하여 제공합니다. 사용자 맞춤형 환경 래퍼, 구성 가능한 훈련 스크립트, 실시간 로깅 및 성능 평가 지표를 특징으로 하며, 사용자는 알고리즘 확장, 맞춤 작업에 적응시키기 쉽고, 최소한의 설정으로 협력 및 경쟁 환경 간 정책을 비교할 수 있습니다.

확장 가능한 MADDPG는 연구 중심의 다중 에이전트 강화 학습 프레임워크로, MADDPG 알고리즘의 확장 가능한 구현을 제공하며, 훈련 중 중앙 집중식 크리틱과 실행 시 독립적 액터를 특징으로 하여 안정성과 효율성을 도모합니다. 이 라이브러리에는 사용자 정의 환경 정의, 네트워크 아키텍처 구성, 하이퍼파라미터 조정용 파이썬 스크립트가 포함되어 있으며, 사용자들은 병렬로 여러 에이전트를 훈련하고, 지표를 모니터링하며, 학습 곡선을 시각화할 수 있습니다. 또한 OpenAI Gym과 유사한 환경과 GPU 가속(TensorFlow 지원)을 지원하며, 모듈형 구성요소를 통해 협력, 경쟁 또는 혼합 다중 에이전트 과제에 대한 유연한 실험과 빠른 프로토타이핑, 벤치마킹을 가능하게 합니다.

AutoDRIVE Cooperative MARL은 AutoDRIVE 도시 주행 시뮬레이터와 적응 가능한 다중 에이전트 강화학습 알고리즘을 결합한 GitHub 호스팅 프레임워크입니다. 훈련 스크립트, 환경 래퍼, 평가 지표, 시각화 도구를 포함하여 협력 운전 정책을 개발 및 벤치마킹할 수 있습니다. 사용자는 에이전트 관측 공간, 보상 함수, 훈련 하이퍼파라미터를 구성할 수 있습니다. 이 저장소는 모듈식 확장을 지원하여 사용자 정의 시나리오 정의, 커리큘럼 학습, 성능 추적이 가능합니다.

DeepMind MAS Environment는 다중 에이전트 강화 학습 작업을 구축하고 시뮬레이션할 수 있는 표준 인터페이스를 제공하는 Python 라이브러리입니다. 에이전트 수를 구성하고, 관측 및 행동 공간을 정의하며, 보상 구조를 사용자 지정할 수 있습니다. 이 프레임워크는 에이전트 간 통신 채널, 성능 로깅, 렌더링 기능을 지원합니다. 연구원은 TensorFlow 및 PyTorch와 같은 인기 있는 RL 라이브러리와 원활하게 통합하여 새 알고리즘 벤치마킹, 통신 프로토콜 테스트, 이산 및 연속 제어 도메인 분석이 가능합니다.

MADDPG-Keras는 Keras에 구현된 MADDPG 알고리즘을 통해 다중 에이전트 강화 학습 연구를 위한 완전한 프레임워크를 제공합니다. 연속 행동 공간, 여러 에이전트, 표준 OpenAI Gym 환경을 지원하며, 연구자와 개발자는 신경망 구조, 학습 하이퍼파라미터, 보상 함수를 구성할 수 있으며, 내장 로깅과 모델 체크포인트 기능을 이용하여 실험을 빠르게 수행하고 벤치마킹할 수 있습니다.

Selective Reincarnation은 멀티 에이전트 강화 학습에 맞춘 동적 인구 기반 훈련 메커니즘을 도입합니다. 각 에이전트의 성과는 미리 정의된 임계값에 따라 정기적으로 평가됩니다. 에이전트의 성과가 임계값 이하로 떨어지면, 그 가중치는 현재 최고 성과 에이전트의 가중치로 재설정되어 검증된 행동을 재현합니다. 이 접근 방식은 저성과 에이전트만 재설정하여 다양성을 유지하며, 파괴적인 재설정을 최소화하면서 고보상 정책으로의 탐색을 유도합니다. 신경망 매개변수의 선택적 유산(전달)을 가능하게 하여, 분산 또는 협력 환경에서의 분산성을 줄이고 수렴 속도를 높입니다. 정책 기울기 기반 MARL 알고리즘과 호환되며, 평가 주기, 선택 기준, 재설정 전략 조정을 위한 구성 가능한 하이퍼파라미터를 포함합니다.

CrewAI-Learning은 다중 에이전트 강화 학습 프로젝트를 간소화하도록 설계된 오픈소스 라이브러리입니다. 환경 구조, 모듈형 에이전트 정의, 사용자 정의 보상 함수, DQN, PPO, A3C와 같은 협력 작업에 적합한 내장 알고리즘을 제공합니다. 사용자는 시나리오 정의, 훈련 루프 관리, 메트릭 로깅 및 결과 시각화를 수행할 수 있습니다. 프레임워크는 에이전트 팀 및 보상 공유 전략의 동적 구성을 지원하여 다양한 분야에서 프로토타이핑, 평가 및 최적화를 용이하게 합니다.