SeeAct wurde entwickelt, um visuelle Sprach-Agenten mit einer zweistufigen Pipeline zu befähigen: Ein Planungsmodul, angetrieben von großen Sprachmodellen, generiert Unterziele basierend auf beobachteten Szenen, und ein Ausführungsmodul übersetzt Unterziele in umgebungsspezifische Aktionen. Ein Wahrnehmungshintergrund extrahiert Objekt- und Szenenmerkmale aus Bildern oder Simulationen. Die modulare Architektur ermöglicht den einfachen Austausch von Planern oder Wahrnehmungsnetzwerken und unterstützt die Bewertung auf AI2-THOR, Habitat und benutzerdefinierten Umgebungen. SeeAct beschleunigt die Forschung im Bereich interaktiver embodied AI durch End-to-End-Aufgabenzerlegung, Verankerung und Ausführung.

AgentRails ermöglicht Rails-Entwicklern den Aufbau intelligenter Agenten, die große Sprachmodelle für natürliches Sprachverständnis und -erzeugung nutzen. Entwickler können benutzerdefinierte Tools und Arbeitsabläufe definieren, den Gesprächsstatus über mehrere Anfragen hinweg aufrechterhalten und sich nahtlos in Rails-Controller und -Views integrieren. Es abstrahiert API-Aufrufe zu Anbietern wie OpenAI und ermöglicht schnelle Prototypenentwicklung von KI-gesteuerten Funktionen, von Chatbots bis zu Inhaltsgeneratoren, unter Beachtung der Rails-Konventionen für Konfiguration und Deployment.