SeeActは、観察されたシーンに基づいてサブゴールを生成する大規模言語モデルによる計画モジュールと、サブゴールを環境固有のアクションに翻訳する実行モジュールの2段階パイプラインで視覚と言語のエージェントを強化するように設計されています。認識バックボーンは、画像やシミュレーションからオブジェクトとシーンの特徴を抽出します。モジュール式のアーキテクチャにより、計画者や認識ネットワークの交換が容易になり、AI2-THOR、Habitat、およびカスタム環境での評価をサポートします。SeeActは、エンドツーエンドのタスク分解、グラウンディング、実行を提供することで、対話型体験AIの研究を促進します。

ggfaiは、目標の設定、多段階の推論の管理、メモリモジュールによる会話コンテキストの保持を一本化したインターフェースを提供します。外部サービスやAPI呼び出しのためのカスタマイズ可能なツール連携、非同期実行フロー、OpenAIのGPTモデルに関する抽象化機能もサポートします。プラグインアーキテクチャにより、メモリバックエンド、知識ストア、アクションテンプレートの切り替えが容易になり、顧客サポート、データ取得、個人アシスタントなどのタスクをシンプルに管理できます。