Эти цифры подчёркивают значительный «разрыв в надёжности». Хотя показатель успеха в 24% может выглядеть впечатляюще для экспериментальной технологии, он далеко не достигает уровня, необходимого для внедрения в корпоративной среде, где точность и последовательность имеют первостепенное значение.

Где гиганты спотыкаются: сложность «работы»

Почему модели, отлично справляющиеся с Bar Exam, не могут выполнить реальную работу юриста? Выводы APEX-Agents указывают на несколько ключевых недостатков в современных «agentic» архитектурах:

1. Контекстная хрупкость

Реальная работа связана с «хаотичным» контекстом. Инструкции часто разбросаны по цепочкам электронных писем, сообщениям в Slack и PDF-вложениям. Бенчмарк показал, что агентам трудно поддерживать последовательное понимание цели, когда информация фрагментирована. Они часто «галлюцинируют» недостающие детали или теряют из виду конкретные ограничения по мере выполнения задачи.

2. Стратегическое планирование против реакции

Современные большие языковые модели (LLMs, Large Language Models) в основном являются реактивными предикторами. Однако профессиональные задачи требуют стратегического планирования — способности разбивать сложную цель на подшаги, выполнять их по порядку и корректировать себя, если шаг провалился.

• Наблюдение: В бенчмарке агенты часто правильно выполняли первые несколько шагов (например, «Найдите финансовый отчёт»), но ошибались на этапе синтеза (например, «Извлечь EBITDA и сравнить её со средним по отрасли из отдельной таблицы»).
• Режим отказа: Как только агент совершает небольшую ошибку в многошаговой цепочке, ошибка накапливается, приводя к финальному результату, который фактически неверен или не имеет отношения к делу.

3. Ограничения в использовании инструментов

Хотя модели стали лучше вызывать API (Application Programming Interfaces), навигация по смоделированной среде рабочего стола остаётся проблемой. Агентам было трудно с нюансами взаимодействия с ПО, которые люди воспринимают как должное, например, прокрутка больших наборов данных или понимание состояния пользовательского интерфейса конкретного приложения.

Последствия для отрасли: парадигма «ассистент» против «сотрудника»

Для читателей Creati.ai и руководителей предприятий эти результаты не должны привести к отторжению ИИ, а скорее к корректировке ожиданий. «Сотрудник ИИ», работающий полностью автономно, пока ещё не наступил.

Немедленные выводы для корпоративной стратегии:

• Human-in-the-Loop is Non-Negotiable: Низкие показатели прохождения подтверждают, что агентам ИИ пока нельзя доверять сквозные автономные рабочие процессы в областях с высокими ставками, таких как право или финансы. Они должны выступать как ко-пилоты (Co-pilots), а не как автопилоты (Autopilots).
• Task Decomposition is Key: Чтобы извлечь ценность из текущих моделей (GPT-5.2, Gemini 3), организациям необходимо разбивать сложные рабочие процессы на более мелкие, атомарные задачи, которые имеют более высокий индивидуальный уровень успеха.
• Speed vs. Reasoning: Интересно, что Gemini 3 Flash превзошёл своего «Pro»-собрата. Это свидетельствует о том, что для агентных рабочих процессов способность быстро итеративно пробовать разные пути (обеспечиваемая скоростью и низкой задержкой моделей «Flash») может сейчас быть более ценной, чем глубина более крупной, медленной модели.

Дорога вперёд

Выпуск APEX-Agents служит важным диагностическим инструментом для сообщества исследователей ИИ. Подобно тому, как ImageNet революционизировал компьютерное зрение, бенчмарки вроде APEX заставляют модели перейти от «разговора» к «деланию».

Исследователи из Mercor и ведущих лабораторий в области ИИ уже используют эти данные для доработки следующего поколения архитектур. Ожидается смещение в сторону возможностей рассуждения «Система 2» ("System 2" reasoning capabilities) — когда модели тратят время на «размышление» и планирование перед действием — что станет стандартом для рабочих агентов.

До тех пор посыл ясен: революция ИИ всё ещё в процессе, но пока ваш цифровой стажёр по-прежнему требует значительного надзора.