Великое ралли агентного ИИ (Agentic AI): скорость развертывания опережает протоколы безопасности
Ландшафт корпоративного сектора стоит на пороге масштабного сдвига: происходит переход от пассивных инструментов генеративного ИИ (Generative AI) к автономному «агентному ИИ» (Agentic AI), способному выполнять сложные рабочие процессы. Однако новый отчет Deloitte бьет тревогу: при стремительном распространении внедрения необходимые рамки безопасности для управления этими автономными системами отстают с опасной скоростью.
Согласно выводам Deloitte, только 21% организаций в настоящее время имеют строгие механизмы управления или надзора для агентов ИИ (AI agents). Эта статистика резко контрастирует с прогнозируемыми темпами внедрения: ожидается, что использование агентов ИИ вырастет с 23% до 74% всего за два года. Пока компании спешат воспользоваться приростом производительности от автономных агентов, «разрыв в управлении» создает значительные риски, связанные с конфиденциальностью данных, безопасностью и подотчетностью.
Взлет агентного предприятия
Различие между традиционным генеративным ИИ и агентным ИИ имеет решающее значение. В то время как стандартные Large Language Models (LLMs) генерируют текст или код на основе подсказок, агенты ИИ спроектированы так, чтобы воспринимать, рассуждать и действовать. Они могут самостоятельно перемещаться по программному обеспечению, выполнять транзакции и принимать решения для достижения широких целей.
Эта возможность обусловливает прогнозируемое снижение числа не внедряющих — с 25% до всего 5% в ближайшие годы. Организации не просто экспериментируют; они переходят к промышленным развертываниям, где агенты выступают в роли цифровых сотрудников. Однако Deloitte предупреждает, что переход от пилота к промышленной эксплуатации без «Cyber AI Blueprints (Cyber AI Blueprints)» влечет системный риск.
Пустота в управлении: инновации без тормозов
Суть предупреждения Deloitte не в том, что агенты ИИ по своей природе злонамеренны, а в том, что их внедряют с «плохим контекстом и слабым управлением». В традиционной программной среде действия жестко закодированы и предсказуемы. В агентной среде ИИ определяет «как», часто делая процесс принятия решений непрозрачным.
Без надежных предохранителей агенты могут страдать от галлюцинаций, зацикливаться или выполнять действия, выходящие за рамки соответствия требованиям. Отчет отмечает, что непрозрачные системы «почти невозможно застраховать», поскольку страховщики не могут точно оценить риск «черного ящика» в роли принимающего решения.
Ключевые риски, выделенные в отчете:
- Перегрузка контекстом: предоставление агентам слишком большого доступа приводит к непредсказуемому поведению.
- Отсутствие наблюдаемости: невозможность отследить, почему агент совершил конкретное действие.
- Фрагментированные системы: несоответствие данных из реального мира вызывает сбои у агентов там, где они успешно работали в демо.
Рамки Deloitte: уровневая автономность (Tiered Autonomy) и Cyber AI Blueprints (Cyber AI Blueprints)
Чтобы преодолеть разрыв между инновациями и безопасностью, Deloitte предлагает стратегию «уровневой автономности (Tiered Autonomy)». Этот подход предполагает, что организациям не следует сразу предоставлять агентам полный контроль. Вместо этого необходимо внедрить поэтапную систему разрешений, которая масштабируется в зависимости от доказанной надежности агента и уровня риска задачи.
Ниже приведена таблица, описывающая операционные уровни предлагаемой модели управления:
Table: Tiered Autonomy Levels for AI Agents
| Autonomy Level | Operational Scope | Human Oversight Requirement |
|---|---|---|
| Level 1: Read-Only | Агент может просматривать данные и отвечать на запросы, но не может изменять системы. | Низкий: аудит после выполнения для проверки точности. |
| Level 2: Advisory | Агент анализирует данные и предлагает рекомендации или планы. | Средний: люди должны просмотреть и принять решение о действии. |
| Level 3: Co-Pilot | Агент выполняет ограниченные действия в рамках строгих предохранителей. | Высокий: требуется явное одобрение человека для выполнения. |
| Level 4: Autonomous | Агент действует самостоятельно при выполнении низкорисковых, повторяющихся задач. | Стратегический: мониторинг логов; вмешательство только при оповещениях. |
Эта структура отражает концепцию «Cyber AI Blueprints (Cyber AI Blueprints)», где уровни управления встраиваются непосредственно в организационные контроли, обеспечивая, что соответствие требованиям не является запоздалой мыслью, а предпосылкой для развертывания.
Мнения экспертов об «управляемой автономии» (Governed Autonomy)
Отраслевой консенсус совпадает с призывом Deloitte к структурированию. Али Сараффи, CEO Kovant, подчеркивает необходимость «управляемой автономии (Governed Autonomy)». Он утверждает, что с агентами следует обращаться с той же степенью управленческой строгости, что и с человеческими сотрудниками — определенные границы, четкие политики и конкретные роли.
«Хорошо спроектированные агенты с четкими границами... могут быстро работать над низкорисковой задачей внутри понятных предохранителей, но переводить на людей, когда действия переходят определенные пороги риска», — отметил Сараффи.
Этот подход «человек в цикле» (human-in-the-loop) для решений с высоким влиянием превращает агентов из таинственных ботов в проверяемые системы. Поддерживая подробные журналы действий и декомпозируя сложные операции на более узкие задачи, предприятия могут обеспечить раннее обнаружение сбоев, а не допустить их перерастания в критические ошибки.
Угол страхования и подотчетности
Интересный аспект отчета Deloitte — взаимосвязь между управлением ИИ (AI governance) и страхованием. По мере того как агенты начинают совершать реальные действия — отправлять электронные письма, переводить средства или управлять конфиденциальными данными — ландшафт ответственности меняется.
Страховые компании все чаще неохотно покрывают непрозрачные внедрения ИИ. Чтобы получить покрытие, организации должны продемонстрировать, что их агенты работают в рамках «коробки» строгих разрешений и что каждое действие логируется и может быть воспроизведено. Прозрачность перестает быть только этической предпочтительностью; она становится финансовой необходимостью для переноса риска.
Будущее рабочей силы
Технология — это только половина уравнения. Deloitte подчеркивает, что безопасное внедрение требует рабочей силы, обученной «грамотности в области ИИ (AI Literacy)». Сотрудники должны понимать:
- Гигиена данных: какую информацию никогда не следует передавать агенту.
- Вмешательство: как отменить действия агента, который уходит в сторону от задачи.
- Скептицизм: как выявлять необычное поведение автономных систем.
По мере роста уровня внедрения к отметке в 74% конкурентное преимущество получат не те, кто развертывает агентов быстрее всех, а те, кто делает это с видимостью и контролем, необходимыми для поддержания доверия. Эпоха «move fast and break things» закончена; в эпоху агентного ИИ новый девиз — «двигаться быстро, но с предохранителями».
