Cerelyze는 최신 연구 논문의 방법을 자동으로 실행 가능한 노트북으로 변환하는 도구로, 엔지니어, 연구원 및 학자가 알고리즘을 신속하게 프로토타입하고 배포할 수 있도록 도와줍니다. 이를 통해 연구에서 코드로의 구현 프로세스를 크게 가속화하여 복잡한 알고리즘을 실제 응용 프로그램에 통합하기 쉽게 만듭니다.

F1Tenth Two-Agent Simulator는 ROS와 Gazebo 기반으로 구축된 특수한 시뮬레이션 프레임워크로, 사용자 지정 트랙에서 경쟁 또는 협력하는 두 대의 1/10 스케일 자율 차량을 에뮬레이션합니다. 현실적인 타이어 모델 물리, 센서 에뮬레이션, 충돌 감지, 데이터 로깅을 지원하며, 사용자는 자신만의 계획 및 제어 알고리즘을 연결하고, 에이전트 파라미터를 조정하며, 성능, 안전성 및 협력 전략을 평가하는 대전 시나리오를 실행할 수 있습니다.

HFO_DQN은 Python과 TensorFlow를 결합하여 Deep Q-Network을 사용하는 축구 에이전트 훈련을 위한 완전한 파이프라인을 제공합니다. 사용자는 저장소를 복제(clone)하고, HFO 시뮬레이터와 Python 라이브러리 포함 의존성을 설치하며, YAML 파일에서 훈련 매개변수를 구성할 수 있습니다. 이 프레임워크는 경험 재생, 타깃 네트워크 업데이트, 이플슨 탐색(epsilon-greedy), 그리고 하프 필드 오펜스 도메인에 특화된 보상 조정을 구현합니다. 에이전트 훈련, 성능 로깅, 평가 경기, 결과 플로팅을 위한 스크립트를 포함하며, 모듈형 코드 설계는 커스텀 신경망 아키텍처, 대체 RL 알고리즘, 다중 에이전트 협력 전략의 통합을 허용합니다. 출력에는 훈련된 모델, 성능 지표, 행동 시각화가 포함되어 있으며, 강화학습 및 다중 에이전트 시스템 분야 연구를 지원합니다.