SeeAct는 관찰된 장면에 기반하여 하위 목표를 생성하는 대형 언어 모델 기반 계획 모듈과, 하위 목표를 환경별 행동으로 번역하는 실행 모듈의 이단계 파이프라인으로 비전-언어 에이전트를 강화하도록 설계되었습니다. 인지 백본은 이미지 또는 시뮬레이션에서 객체 및 장면 특징을 추출합니다. 모듈식 아키텍처는 계획자 또는 인지 네트워크의 교체를 쉽게 하며, AI2-THOR, Habitat 및 커스텀 환경에서 평가를 지원합니다. SeeAct는 엔드 투 엔드 작업 분해, 그라운딩, 실행을 제공하여 상호작용하는 내장형 AI 연구를 가속화합니다.
SeeAct 핵심 기능
LLM 기반 하위 목표 계획
시각 인식 및 특징 추출
모듈식 실행 파이프라인
시뮬레이션 환경에서 벤치마크 작업
구성 가능한 구성요소
SeeAct 장단점
단점
액션 그라운딩은 여전히 중요한 과제로, 오라클 그라운딩에 비해 눈에 띄는 성능 차이가 존재합니다.
현재의 그라운딩 방법(요소 속성, 텍스트 선택, 이미지 주석)에는 오류 사례가 있어 실패를 초래합니다.
라이브 웹사이트에서의 성공률은 약 절반의 작업에 제한되며, 견고성과 일반화 향상의 여지가 있음을 나타냅니다.
장점
GPT-4V와 같은 첨단 멀티모달 대규모 모델을 활용하여 정교한 웹 상호작용을 수행합니다.
이 저장소는 포괄적인 다중 에이전트 시스템 구성 요소와 분산 AI 조정 기술의 모음을 집약합니다. 합의 알고리즘, 계약 네트 협상 프로토콜, 경매 기반 작업 할당, 연합 형성 전략 및 에이전트 간 통신 프레임워크를 구현하고 있습니다. 사용자들은 내장된 시뮬레이션 환경을 활용하여 다양한 네트워크 토폴로지, 지연 시나리오, 장애 모드에서 에이전트 행동을 모델링하고 테스트할 수 있습니다. 모듈식 설계 덕분에 개발자와 연구원들은 특정 조정 모듈을 통합하거나 확장하거나 맞춤화하여 로봇 스웜, IoT 기기 협력, 스마트 그리드 및 분산 의사 결정 시스템 등에 적용할 수 있습니다.
AI-Agents-Multi-Agent-Systems-and-Distributed-AI-Coordination 핵심 기능
multiagent_envs는 멀티에이전트 강화학습 연구 및 개발을 위해 맞춤형 모듈형 파이썬 기반 환경 세트를 제공하며, 협력 네비게이션, 포식자-피해자, 사회적 딜레마, 경쟁 무대 등의 시나리오를 포함합니다. 각 환경은 에이전트 수, 관찰 특징, 보상 함수, 충돌 역학을 정의할 수 있습니다. 이 프레임워크는 Stable Baselines, RLlib과 같은 인기 RL 라이브러리와 원활하게 통합되어 벡터화 학습 루프, 병렬 실행, 간편한 로깅을 지원합니다. 사용자들은 간단한 API를 따라 기존 시나리오를 확장하거나 새로 만들어 MADDPG, QMIX, PPO와 같은 알고리즘을 일관되고 재현 가능한 환경에서 실험할 수 있습니다.
합의, 협상 및 협력을 위한 분산 AI 조정 알고리즘과 다중 에이전트 시스템 모듈이 포함된 오픈 소스 프레임워크입니다.00