Acme는 Python 기반 프레임워크로, 강화 학습 에이전트 개발 및 평가를 쉽게 합니다. 미리 제작된 에이전트 구현(예: DQN, PPO, SAC), 환경 래퍼, 재생 버퍼 및 분산 실행 엔진을 포함합니다. 연구자들은 이들을 조합하여 새로운 알고리즘의 프로토타입을 만들고, 내장 로깅을 통해 학습 메트릭을 모니터링하며, 대규모 실험을 위한 확장 가능한 분산 파이프라인을 활용할 수 있습니다. Acme는 TensorFlow와 JAX와 통합되고, OpenAI Gym 인터페이스를 통한 맞춤형 환경 지원, 체크포인트 생성, 평가, 하이퍼파라미터 구성 유틸리티를 포함합니다.

F1Tenth Two-Agent Simulator는 ROS와 Gazebo 기반으로 구축된 특수한 시뮬레이션 프레임워크로, 사용자 지정 트랙에서 경쟁 또는 협력하는 두 대의 1/10 스케일 자율 차량을 에뮬레이션합니다. 현실적인 타이어 모델 물리, 센서 에뮬레이션, 충돌 감지, 데이터 로깅을 지원하며, 사용자는 자신만의 계획 및 제어 알고리즘을 연결하고, 에이전트 파라미터를 조정하며, 성능, 안전성 및 협력 전략을 평가하는 대전 시나리오를 실행할 수 있습니다.

HFO_DQN은 Python과 TensorFlow를 결합하여 Deep Q-Network을 사용하는 축구 에이전트 훈련을 위한 완전한 파이프라인을 제공합니다. 사용자는 저장소를 복제(clone)하고, HFO 시뮬레이터와 Python 라이브러리 포함 의존성을 설치하며, YAML 파일에서 훈련 매개변수를 구성할 수 있습니다. 이 프레임워크는 경험 재생, 타깃 네트워크 업데이트, 이플슨 탐색(epsilon-greedy), 그리고 하프 필드 오펜스 도메인에 특화된 보상 조정을 구현합니다. 에이전트 훈련, 성능 로깅, 평가 경기, 결과 플로팅을 위한 스크립트를 포함하며, 모듈형 코드 설계는 커스텀 신경망 아키텍처, 대체 RL 알고리즘, 다중 에이전트 협력 전략의 통합을 허용합니다. 출력에는 훈련된 모델, 성능 지표, 행동 시각화가 포함되어 있으며, 강화학습 및 다중 에이전트 시스템 분야 연구를 지원합니다.

OpenSpiel은 간단한 행렬 게임부터 체스, 바둑, 포커와 같은 복잡한 보드게임까지 다양한 환경을 제공하며, 가치 반복, 정책 기울기, MCTS 등 여러 강화학습 및 검색 알고리즘을 구현하고 있습니다. 모듈식 C++ 핵심과 Python 바인딩을 통해 사용자 정의 알고리즘을 통합하거나, 새로운 게임을 정의하거나, 표준 벤치마크에서 성능을 비교할 수 있습니다. 확장성을 고려하여 설계되어 있으며, 단일 에이전트 및 다중 에이전트 설정을 지원하여 협력적이고 경쟁적인 시나리오 연구가 가능합니다. 연구자들은 OpenSpiel을 활용하여 빠르게 알고리즘을 프로토타입하고, 대규모 실험을 수행하며, 재현 가능한 코드를 공유합니다.

Prediction Market Agent Tooling은 자율 예측 시장 거래 에이전트를 생성하기 위한 모듈형 아키텍처를 제공합니다. Augur와 Polymarket와 같은 주요 플랫폼용 커넥터, 재사용 가능한 전략 템플릿 라이브러리, 실시간 데이터 피드, 견고한 백테스팅 엔진, 내장 성능 분석을 갖추고 있습니다. 사용자는 알고리즘을 신속하게 프로토타이핑하고, 과거 시장 조건을 시뮬레이션하며, 실시간 모니터링 유틸리티와 함께 라이브 에이전트를 배포할 수 있어 연구자와 퀀트 트레이더 모두에게 이상적입니다.