SeeAct foi projetado para capacitar agentes de visão-linguagem com um pipeline de duas etapas: um módulo de planejamento alimentado por grandes modelos de linguagem que gera subobjetivos com base em cenas observadas, e um módulo de execução que traduz subobjetivos em ações específicas do ambiente. Uma espinha dorsal de percepção extrai características de objetos e cenas de imagens ou simulações. A arquitetura modular permite substituição fácil de planejadores ou redes de percepção, e suporta avaliação em AI2-THOR, Habitat e ambientes personalizados. SeeAct acelera a pesquisa em IA interativa incorporada, fornecendo decomposição de tarefas de ponta a ponta, fundamentação e execução.

AgentRails capacita os desenvolvedores Rails a construir agentes inteligentes que aproveitam modelos de linguagem grandes para compreensão e geração de linguagem natural. Os desenvolvedores podem definir ferramentas e fluxos de trabalho personalizados, manter o estado da conversa entre solicitações e integrar-se perfeitamente com controladores e visualizações do Rails. Ele abstrai chamadas de API para provedores como OpenAI e possibilita a prototipagem rápida de recursos conduzidos por IA, desde chatbots até geradores de conteúdo, enquanto segue as convenções do Rails para configuração e implantação.