AppAgentは、手動スクリプトなしでスマートフォンアプリを操作できるLLMベースのマルチモーダルエージェントフレームワークです。画面キャプチャ、UI要素検出、OCR解析、および自然言語による計画を統合し、アプリのレイアウトとユーザー意図を理解します。このフレームワークは、Androidデバイスまたはエミュレータを通じてタッチイベント（タップ、スワイプ、テキスト入力）を発行し、ワークフローを自動化します。研究者や開発者はプロンプトをカスタマイズし、LLM APIを設定し、新しいアプリやタスクをサポートするモジュールを拡張できます。これにより、適応性とスケーラビリティのあるモバイル自動化が可能です。
