AI's Offensive Edge: GPT-5.3-Codex Dominates New Crypto Security Benchmark

В откровении, которое одновременно демонстрирует ошеломляющий прогресс искусственного интеллекта и выявляет критическую уязвимость в экосистеме децентрализованных финансов (Decentralized Finance, DeFi), OpenAI представила EVMbench — новый комплексный фреймворк для тестирования, предназначенный для оценки возможностей ИИ-агентов в области безопасности блокчейна (blockchain security). Результаты первого бенчмарка впечатляют и одновременно тревожат: последняя специализированная модель от OpenAI, GPT-5.3-Codex, успешно эксплуатировала и опустошила криптовалютные кошельки в 72,2% тестовых случаев, продемонстрировав мастерство в кибератаках, которое в настоящее время значительно превосходит оборонительные аналоги.

Запущенный в сотрудничестве с криптовалютной инвестиционной фирмой Paradigm, EVMbench служит стандартизированной ареной для измерения того, насколько хорошо модели ИИ могут обнаруживать, исправлять и эксплуатировать уязвимости в смарт-контрактах виртуальной машины Ethereum (Ethereum Virtual Machine, EVM). Хотя инициатива направлена на укрепление безопасности посредством «редтиминга» (red teaming), текущие данные указывают на увеличивающийся разрыв между «мечом и щитом». В то время как GPT-5.3-Codex проявила себя как грозный цифровой хищник, её способность защищать — показавшая значительно более низкие результаты в задачах по обнаружению и исправлению ошибок — вызвала срочные дискуссии относительно безопасности 100 миллиардов долларов, заблокированных в смарт-контрактах по всему миру.

The Widening Gap: Offense vs. Defense in AI Code Generation

Заглавный показатель в 72,2% успеха в категории «Exploit» (Эксплуатация) знаменует собой огромный скачок в возможностях ИИ между поколениями. Всего шесть месяцев назад стандартная модель GPT-5 достигала лишь 31,9% успеха в аналогичных задачах. Такое удвоение эффективности предполагает, что специализированная настройка в GPT-5.3-Codex открыла более глубокое понимание сложных логических потоков и экономических стимулов, присущих протоколам блокчейна.

Однако бенчмарк также высветил вызывающую беспокойство асимметрию. Хотя ИИ преуспел во взломе систем, он с трудом справлялся с их исправлением. В режиме «Patch» (Исправление), где агент должен устранить уязвимость, не нарушая целевую функциональность контракта, показатели успеха колебались в районе 41,5%. Аналогичным образом, в режиме «Detect» (Обнаружение), который имитирует традиционный аудит кода (code audit), модели часто не могли идентифицировать известные ошибки: лучшие исполнители, такие как Claude Opus 4.6, достигли лишь 45,6% уровня обнаружения.

Этот дисбаланс подчеркивает фундаментальную реальность текущей архитектуры больших языковых моделей (Large Language Model, LLM): агенту вычислительно проще найти один путь к сбою (эксплуатация), чем гарантировать отсутствие всех возможных сбоев (верификация безопасности). Таблица ниже иллюстрирует резкий контраст в производительности в различных операционных режимах в новом бенчмарке.

Table 1: AI Model Performance in EVMbench Modes
Metric|GPT-5.3-Codex (Current)|GPT-5 (6 Months Prior)|Claude Opus 4.6
---|---|----
Exploit Success Rate|72.2%|31.9%|N/A
Patch Success Rate|41.5%|N/A|N/A
Detection Recall|N/A|N/A|45.6%

Inside EVMbench: A Rigorous Testing Ground

Чтобы гарантировать, что эти результаты отражают реальные риски, а не теоретические упражнения, OpenAI и Paradigm построили EVMbench, используя 120 отобранных уязвимостей, взятых из 40 профессиональных аудитов смарт-контрактов. Это были не синтетические ошибки, а реальные изъяны, найденные в производственном коде, многие из которых были получены с платформ для соревновательного аудита, таких как Code4rena.

Бенчмарк работает в изолированной среде, известной как Anvil, позволяя ИИ-агентам взаимодействовать с локальной симуляцией блокчейна. Эта изоляция позволяет моделям предпринимать деструктивные действия — такие как атаки повторного входа (reentrancy attacks) или манипуляции с логикой — не рискуя реальными средствами пользователей.

Фреймворк оценивает агентов по трем различным компетенциям:

Table 2: EVMbench Evaluation Modes

Важно отметить, что бенчмарк включает сценарии из Tempo blockchain, новой сети уровня 1 (Layer-1), разработанной Stripe и Paradigm, ориентированной на высокопроизводительные платежи в стейблкоинах. Включение специфических для Tempo задач указывает на то, что OpenAI не просто изучает устаревший код Ethereum, но и активно проводит тестирование на инфраструктуре следующего поколения, где ожидается широкое распространение агентских платежей.

Case Study: The Unassisted Flash Loan Attack

Возможно, самым тревожным эпизодом из сопутствующего исследовательского документа является конкретный тестовый случай, в котором агент на базе GPT-5.2 (промежуточная версия) выполнил сложную атаку с использованием «мгновенного займа» (flash loan).

Атаки с мгновенными займами — это изощренные финансовые эксплойты, которые требуют заимствования огромного количества капитала, использования его для манипулирования рыночными ценами или логикой протокола и погашения займа в рамках одного блока транзакций. Обычно они являются прерогативой элитных хакеров-людей из-за требуемой точной последовательности действий.

В тесте EVMbench агент ИИ:

1. Идентифицировал арбитражную возможность, созданную логической ошибкой.
2. Программно запросил мгновенный заем.
3. Выполнил последовательность эксплойта для опустошения хранилища.
4. Погасил заем для завершения транзакции.

Он добился этого без руководства человека, пошаговых инструкций или предварительных примеров архитектуры конкретного контракта. Эта способность сигнализирует о том, что автономные агенты выходят за рамки простого сопоставления с образцом и переходят к многоэтапному стратегическому мышлению — развитию, которое несет экзистенциальные риски для плохо проверенных протоколов децентрализованных финансов (DeFi).

OpenAI’s Strategic Pivot: Democratizing Defense

Осознавая потенциал использования этих инструментов в качестве оружия, OpenAI позиционирует выпуск EVMbench и GPT-5.3-Codex как «оборонительный императив». Логика заключается в том, что, передавая эти мощные наступательные инструменты в руки «белых» исследователей безопасности (white hat), уязвимости можно будет находить и исправлять до того, как их используют злоумышленники.

Для поддержки этой оборонительной экосистемы OpenAI анонсировала Cybersecurity Grant Program, пообещав 10 миллионов долларов в виде кредитов API разработчикам и исследователям, работающим над инструментами защиты с открытым исходным кодом. Цель состоит в том, чтобы снизить порог входа для автоматизированного аудита, позволяя даже небольшим проектам получить доступ к самым современным проверкам безопасности.

Кроме того, компания расширяет закрытое бета-тестирование Aardvark, специализированного агента для исследований в области безопасности. В отличие от моделей Codex общего назначения, Aardvark обучен специально на литературе по безопасности, аудиторских отчетах и методах формальной верификации. Ранние внутренние тесты показывают, что Aardvark может помочь сократить разрыв между нападением и защитой, используя «мышление атакующего» GPT-5.3 для прогнозирования эксплойтов и проактивного предложения исправлений.

Industry Implications and the Road Ahead

Выпуск EVMbench происходит в переломный момент для криптоиндустрии после серии громких эксплойтов, включая недавнюю потерю 2,7 миллиона долларов в протоколе Moonwell из-за ошибки в коде, сгенерированном ИИ. В настоящее время индустрия сталкивается с палкой о двух концах: ИИ все чаще используется для написания смарт-контрактов, часто привнося тонкие ошибки, и в то же время является единственным инструментом, достаточно масштабируемым для аудита стремительно растущего объема блокчейн-кода.

Участие Paradigm говорит о том, что крупные институциональные игроки рассматривают безопасность ИИ не как роскошь, а как необходимое условие для массового внедрения стейблкоинов и децентрализованных финансовых рельсов. Если агенты ИИ должны обрабатывать автономные платежи в таких сетях, как Tempo, они должны быть устойчивы к враждебному ИИ, пытающемуся их ограбить.

Эксперты предупреждают, что «72% успеха эксплойтов» — это, скорее всего, пол, а не потолок. По мере того как модели продолжают масштабироваться и использовать такие методы, как «цепочка рассуждений» (Chain-of-Thought) во время вывода, их способность находить неявные уязвимости типа «черный лебедь» (black swan), вероятно, будет только расти.

На данный момент послание разработчикам смарт-контрактов ясно: ИИ, который помогает вам писать код, также способен вас ограбить. Пока оборонительные возможности не догонят наступательные, единственным безопасным путем остается строгий аудит под руководством человека, дополненный — но не замененный — теми самыми инструментами ИИ, которые угрожают системе.