AgentRails позволяет разработчикам Rails создавать intelligent-агентов, использующих крупные языковые модели для понимания и генерации естественного языка. Разработчики могут определять пользовательские инструменты и рабочие процессы, сохранять состояние диалога между запросами и бесшовно интегрироваться с контроллерами и видами Rails. Он абстрагирует вызовы API к провайдерам, таким как OpenAI, и обеспечивает быстрое прототипирование функций на базе AI — от чатботов до генераторов контента, соблюдая при этом стандарты конфигурации и развертывания Rails.

SeeAct предназначен для оснащения агентов видения-языка двухступенчатой системой: модуль планирования на базе больших языковых моделей создает подцели на основе наблюдаемых сцен, а модуль выполнения переводит эти подцели в действия, специфичные для окружения. В базовом восприятии извлекаются признаки объектов и сцен из изображений или симуляций. Модульная архитектура позволяет легко заменять планировщики или сети восприятия и поддерживает оценку в AI2-THOR, Habitat и пользовательских средах. SeeAct ускоряет исследование интерактивного embodied AI, предоставляя разложение задач, привязку и выполнение от начала до конца.