AppAgent — это мультимодовая рамочная структура, основанная на LLM, предназначенная для управления приложениями на смартфоне без ручного скриптинга. Она интегрирует захват экрана, обнаружение элементов GUI, парсинг OCR и планирование на естественном языке, чтобы понять разметку приложений и пользовательские намерения. Фреймворк отправляет касания (тапы, прокрутки, ввод текста) через устройство Android или эмулятор для автоматизации рабочих процессов. Исследователи и разработчики могут настраивать подсказки, конфигурировать API LLM и расширять модули для поддержки новых приложений и задач, достигая адаптивной и масштабируемой мобильной автоматизации.