SeeActは、観察されたシーンに基づいてサブゴールを生成する大規模言語モデルによる計画モジュールと、サブゴールを環境固有のアクションに翻訳する実行モジュールの2段階パイプラインで視覚と言語のエージェントを強化するように設計されています。認識バックボーンは、画像やシミュレーションからオブジェクトとシーンの特徴を抽出します。モジュール式のアーキテクチャにより、計画者や認識ネットワークの交換が容易になり、AI2-THOR、Habitat、およびカスタム環境での評価をサポートします。SeeActは、エンドツーエンドのタスク分解、グラウンディング、実行を提供することで、対話型体験AIの研究を促進します。

AgentRailsは、Rails開発者が大規模言語モデルを活用した自然言語理解と生成を担当するインテリジェントエージェントを構築できるようにします。開発者はカスタムツールやワークフローを定義し、リクエスト間で会話状態を維持し、Railsのコントローラーやビューとシームレスに統合できます。OpenAIなどのプロバイダーのAPI呼び出しを抽象化し、チャットボットからコンテンツジェネレーターまでAI駆動の機能の迅速なプロトタイピングを可能にし、設定やデプロイにはRailsの規約を尊重します。