에이전트의 자발적 통신은 멀티 에이전트 시스템이 자체 통신 프로토콜을 개발하는 방법을 탐구하는 연구자를 위해 설계된 오픈소스 PyTorch 프레임워크입니다. 이 라이브러리는 참조 게임, 결합 게임, 객체 식별 과제 등을 포함하는 협력 강화 학습 과제의 유연한 구현을 제공합니다. 사용자는 발신자와 수신자 에이전트의 아키텍처를 정의하고, 어휘 크기와 시퀀스 길이와 같은 메시지 채널 속성을 지정하며, 정책 기울기 또는 감독 학습과 같은 훈련 전략을 선택할 수 있습니다. 프레임워크에는 실험 수행, 통신 효율성 분석, 자발적 언어 시각화를 위한 엔드투엔드 스크립트가 포함되어 있습니다. 모듈식 설계로 새로운 게임 환경이나 맞춤형 손실 함수를 쉽게 확장할 수 있습니다. 연구자들은 발표된 연구를 재현하고, 새로운 알고리즘을 벤치마킹하며, 자발적 에이전트 언어의 구성적 특성과 의미를 탐구할 수 있습니다.

OpenSpiel은 간단한 행렬 게임부터 체스, 바둑, 포커와 같은 복잡한 보드게임까지 다양한 환경을 제공하며, 가치 반복, 정책 기울기, MCTS 등 여러 강화학습 및 검색 알고리즘을 구현하고 있습니다. 모듈식 C++ 핵심과 Python 바인딩을 통해 사용자 정의 알고리즘을 통합하거나, 새로운 게임을 정의하거나, 표준 벤치마크에서 성능을 비교할 수 있습니다. 확장성을 고려하여 설계되어 있으며, 단일 에이전트 및 다중 에이전트 설정을 지원하여 협력적이고 경쟁적인 시나리오 연구가 가능합니다. 연구자들은 OpenSpiel을 활용하여 빠르게 알고리즘을 프로토타입하고, 대규모 실험을 수행하며, 재현 가능한 코드를 공유합니다.