mini-AlphaStar는 복잡한 AlphaStar 아키텍처를 해독하여 스타크래프트 II AI 개발을 위한 접근 가능하고 오픈소스인 PyTorch 프레임워크를 제공합니다. 화면 및 미니맵 입력을 위한 공간 특징 인코더, 비공간 특징 처리, LSTM 메모리 모듈, 행동 선택과 상태 평가를 위한 별도 정책 및 가치 네트워크를 갖추고 있습니다. 모방 학습으로 부트스트래핑하고, 셀프 플레이를 통한 강화 학습으로 미세 조정하며, pysc2를 통한 StarCraft II 환경 래퍼, 텐서보드 로깅 및 사용자 설정 가능한 하이퍼파라미터를 지원합니다. 연구원과 학생들은 인간 플레이 데이터셋을 생성하고, 사용자 정의 시나리오에서 모델을 훈련하며, 에이전트 성능을 평가하고 학습 곡선을 시각화할 수 있습니다. 모듈식 코드베이스는 네트워크 변형, 훈련 일정 및 다중 에이전트 설정을 쉽게 실험할 수 있게 합니다. 교육과 프로토타이핑에 초점을 맞췄으며, 배포용으로는 적합하지 않습니다.

CommNet은 다중 에이전트가 각각의 시간 단계에서 숨겨진 상태를 공유하고 협력 환경에서 행동 조정을 학습할 수 있도록 하는 연구 지향 라이브러리입니다. 이 라이브러리에는 PyTorch 모델 정의, 훈련 및 평가 스크립트, OpenAI Gym 환경 래퍼, 통신 채널, 에이전트 수, 네트워크 깊이 등을 사용자 정의할 수 있는 유틸리티가 포함되어 있습니다. 연구자와 개발자는 CommNet을 사용하여 내비게이션, 추적-회피, 자원 수집 작업에서 에이전트 간 통신 전략을 프로토타입하고 벤치마킹할 수 있습니다.