Vanilla Agents는 핵심 강화 학습 에이전트의 모듈형 및 확장 가능한 구현을 제공하는 경량 PyTorch 기반 프레임워크입니다. DQN, Double DQN, PPO, A2C와 같은 알고리즘을 지원하며, OpenAI Gym과 호환 가능한 플러그인 환경 래퍼를 갖추고 있습니다. 사용자는 하이퍼파라미터를 조정하고, 학습 메트릭을 로깅하며, 체크포인트를 저장하고, 학습 곡선을 시각화할 수 있습니다. 코드베이스는 명확하게 구성되어 있어 연구 프로토타이핑, 교육용, 새 아이디어의 벤치마킹에 이상적입니다.

mini-AlphaStar는 복잡한 AlphaStar 아키텍처를 해독하여 스타크래프트 II AI 개발을 위한 접근 가능하고 오픈소스인 PyTorch 프레임워크를 제공합니다. 화면 및 미니맵 입력을 위한 공간 특징 인코더, 비공간 특징 처리, LSTM 메모리 모듈, 행동 선택과 상태 평가를 위한 별도 정책 및 가치 네트워크를 갖추고 있습니다. 모방 학습으로 부트스트래핑하고, 셀프 플레이를 통한 강화 학습으로 미세 조정하며, pysc2를 통한 StarCraft II 환경 래퍼, 텐서보드 로깅 및 사용자 설정 가능한 하이퍼파라미터를 지원합니다. 연구원과 학생들은 인간 플레이 데이터셋을 생성하고, 사용자 정의 시나리오에서 모델을 훈련하며, 에이전트 성능을 평가하고 학습 곡선을 시각화할 수 있습니다. 모듈식 코드베이스는 네트워크 변형, 훈련 일정 및 다중 에이전트 설정을 쉽게 실험할 수 있게 합니다. 교육과 프로토타이핑에 초점을 맞췄으며, 배포용으로는 적합하지 않습니다.

확장 가능한 MADDPG는 연구 중심의 다중 에이전트 강화 학습 프레임워크로, MADDPG 알고리즘의 확장 가능한 구현을 제공하며, 훈련 중 중앙 집중식 크리틱과 실행 시 독립적 액터를 특징으로 하여 안정성과 효율성을 도모합니다. 이 라이브러리에는 사용자 정의 환경 정의, 네트워크 아키텍처 구성, 하이퍼파라미터 조정용 파이썬 스크립트가 포함되어 있으며, 사용자들은 병렬로 여러 에이전트를 훈련하고, 지표를 모니터링하며, 학습 곡선을 시각화할 수 있습니다. 또한 OpenAI Gym과 유사한 환경과 GPU 가속(TensorFlow 지원)을 지원하며, 모듈형 구성요소를 통해 협력, 경쟁 또는 혼합 다중 에이전트 과제에 대한 유연한 실험과 빠른 프로토타이핑, 벤치마킹을 가능하게 합니다.