Vision Agent — это открытая платформа ИИ, которая позволяет разработчикам и QA-инженерам автоматизировать графические пользовательские интерфейсы через обнаружение элементов на основе зрения и сценарии на естественном языке. Он использует модели компьютерного зрения для поиска кнопок, форм и интерактивных компонентов на экране, а затем использует большую языковую модель для преобразования инструкций пользователя в исполняемый код автоматизации. Агент адаптируется к изменениям UI, обеспечивая надежные и легко сопровождаемые тестовые комплекты для веб- и настольных приложений. Предлагается SDK на Python, CLI-инструменты и интеграция с CI-пайплайнами для бесшовных сквозных тестовых процессов.

OmniParser — это сложный инструмент анализа на основе ИИ, предназначенный для интеллектуального анализа, обнаружения и извлечения структурированных данных из различных источников визуального контента, таких как веб-страницы, скриншоты UI и страницы комиксов. Он предлагает возможности обнаружения UI-элементов, анализа панелей комиксов, распознавания диалоговых пузырей и распознавания персонажей. Этот мощный механизм идеально подходит для цифровой обработки комиксов, локализации рабочих процессов и автоматизации UI, обеспечивая высокую точность обнаружения и повышение общей эффективности для пользователей.