MAGAIL은 전문가 시범에서 협력 행동을 학습할 수 있도록 하는 다중 에이전트 확장을 구현한 것으로, 파이썬 기반으로 PyTorch(또는 TensorFlow 버전)를 지원하며, 정책(생성기)과 판별자 모듈이 적대적 루프에서 훈련됩니다. 에이전트는 OpenAI Multi-Agent Particle Environment 또는 PettingZoo와 같은 환경에서 궤적을 생성하며, 판별자는 이를 전문 데이터와 일치 여부를 평가하는 데 사용합니다. 반복적인 업데이트를 통해 정책 네트워크는 명시적 보상 함수 없이 전문가와 유사한 전략으로 수렴합니다. MAGAIL의 모듈형 설계는 네트워크 구조, 전문가 데이터 입력, 환경 통합, 학습 하이퍼파라미터를 사용자 정의할 수 있도록 합니다. 또한, 내장된 로깅과 TensorBoard 시각화를 통해 멀티에이전트 학습의 진행 상황과 성능 지표를 모니터링하고 분석할 수 있습니다.

HMAS는 계층형 다중 에이전트 시스템 개발을 가능하게 하는 오픈 소스 Python 프레임워크입니다. 에이전트 계층, 에이전트 간 통신 프로토콜, 환경 통합, 내장 훈련 루프를 위한 추상화를 제공합니다. 연구자와 개발자는 HMAS를 사용하여 복잡한 에이전트 상호 작용의 프로토타입을 만들고, 협력 정책을 훈련하며, 시뮬레이션 환경에서 성능을 평가할 수 있습니다. 모듈식 설계를 통해 에이전트, 환경, 훈련 전략을 확장하고 사용자 지정하기 쉽습니다.