Исследование Stanford выявляет слепую зону ИИ в базовой физике
В год, когда искусственный интеллект, казалось бы, овладел всем — от творческого письма до сложного программирования, новое исследование Stanford University выявило поразительное ограничение: передовые модели ИИ испытывают трудности с пониманием базовых законов физики. Выпуск «QuantiPhy», комплексного бенчмарка, предназначенного для проверки физического рассуждения, показывает, что даже самые совершенные Vision-Language Models (VLMs) (модели визуально-языковой обработки (Vision-Language Models, VLMs)) часто не способны точно оценивать скорость, расстояние и размер — навыки, фундаментальные для человеческой интуиции и критически важные для внедрения автономных систем.
Исследование, возглавляемое Stanford Institute for Human-Centered Artificial Intelligence (HAI), показывает, что хотя ИИ может поэтично описать видео с падающим объектом, он часто не в состоянии вычислить, с какой скоростью он падает, или где он приземлится с какой-либо числовой точностью. Эта «quantitative gap» (количественный разрыв, quantitative gap) представляет собой серьёзное препятствие для амбиций отрасли в робототехнике и технологиях автономного вождения.
The QuantiPhy Benchmark: Testing Reality
В течение многих лет оценка ИИ сосредотачивалась в основном на качественном понимании — просить модель определить кошку на видео или описать действие человека, идущего пешком. Однако такие задачи редко проверяют, понимает ли модель физические свойства, управляющие этими сценами. Чтобы исправить это, команда Stanford разработала QuantiPhy, первый набор данных, специально созданный для оценки количественных способностей многомодального ИИ к физическому рассуждению.
Бенчмарк состоит из более чем 3 300 видеотекстовых экземпляров, которые требуют от моделей выполнения «kinematic inference» (кинематического вывода, kinematic inference). Вместо простого описания сцены ИИ должен отвечать на точные числовые вопросы на основе визуальных свидетельств, например:
- «Какова скорость бильярдного шара на отметке 1.0 секунды?»
- «Учитывая среднюю скорость ходьбы субъекта, каково расстояние между двумя дорожными знаками?»
- «Вычислите высоту объекта на основании его движения относительно фона.»
Чтобы решить эти задачи, модель не может полагаться на догадки; она должна выполнять то, что исследователи называют «explicit visual measurement» (явное визуальное измерение, explicit visual measurement), сопоставляя смещение пикселей с реальными единицами, используя предоставленные априоры (известные факты). Результаты исследования оказались поучительными: модели высшего уровня, включая широко используемую ChatGPT-5.1, часто давали уверенные, но математически неверные ответы.
Ловушка «Memorized Priors» (Memorized Priors)
Одно из наиболее критичных открытий исследования — текущие модели ИИ фактически не «видят» физику — они её запоминают. При демонстрации видео модели склонны опираться на данные своего обучения (априоры), а не на фактические визуальные входные данные.
Например, если модель видит слона, она использует статистическую вероятность из обучающего набора данных, которая предполагает «слоны большие». Если на видео показан меньший, молодой слон или эффект перспективы, модель часто игнорирует визуальную реальность в пользу запомненных знаний.
Это явление ярко проиллюстрировали эксперименты исследователей. Когда визуальные подсказки были чистыми, а объекты следовали ожидаемым шаблонам (например, обычный автомобиль движется с нормальной скоростью), модели работали удовлетворительно. Однако когда исследователи вводили «counterfactual priors» (контрафактуальные априоры, counterfactual priors) — например, масштабировали объект до необычного размера или скорости, чтобы проверить адаптивность модели — рассуждения ИИ рушились. Он продолжал выдавать числа, согласующиеся с его обучающими данными, а не с видео, представленным перед ним.
Исследователи утверждают, что это указывает на фундаментальную нехватку «grounding» (заземления, grounding). Модели имитируют понимание, извлекая связанный текст и числа, вместо того чтобы вычислять физические свойства из необработанных визуальных данных.
Сравнительный анализ: производительность моделей против реальности
Бенчмарк QuantiPhy выявил непоследовательную производительность в различных физических задачах. В то время как модели показали некоторую компетентность в простом подсчёте объектов или статической идентификации, их способность обрабатывать динамические кинематические свойства — скорость и ускорение — была значительно слабее.
Ниже приведена таблица, иллюстрирующая конкретные тестовые случаи из набора данных QuantiPhy, показывающая расхождения между истинными физическими значениями и оценками ИИ.
Table 1: QuantiPhy Benchmark Performance Examples
| Task Scenario | Visual Input Prior | Ground Truth | AI Model Estimate (ChatGPT-5.1) | Analysis of Failure |
|---|---|---|---|---|
| Velocity Estimation | Диаметр бильярдного шара (57.4 mm) | 24.99 cm/s | 24.00 cm/s | Почти успех: Модель справилась здесь хорошо, вероятно потому, что сценарий соответствует стандартным физическим данным обучения и простому, чистому визуальному фону. |
| Object Sizing | Скорость ходьбы слона (2.31 m/s) | 2.20 meters | 1.30 meters | Критическая ошибка: Модель существенно недооценила высоту, не сумев соотнести априор о скорости ходьбы с вертикальным размером животного. |
| Distance Calculation | Скорость пешехода (1.25 m/s) | 4.77 meters | 7.00 meters | Пространственная ошибка: Значительное завышение расстояния между дорожными знаками, указывающее на неспособность сопоставить глубину в 2D-пикселях с 3D-пространством реального мира. |
| Scale Sensitivity | Длина автомобиля (масштабировано до 5,670 m) | Соответствует масштабу | Обычный размер автомобиля | Смещение априора: При предъявлении цифрово модифицированного «гигантского» автомобиля модель проигнорировала визуальный масштаб и вернулась к стандартному размеру автомобиля из своей памяти. |
Последствия для робототехники и автономных систем
Неспособность выполнять точное физическое рассуждение — это не просто академическое любопытство; это вопрос безопасности при развертывании воплощённого ИИ. Автономные транспортные средства (AV), доставочные дроны и бытовые роботы действуют в физическом мире, управляемом незыблемыми законами движения.
Для автономного автомобиля «правдоподобное» рассуждение недостаточно. Если система автомобиля видит ребёнка, бегущего к пешеходному переходу, она должна точно вычислить скорость и траекторию ребёнка относительно собственной скорости автомобиля, чтобы решить, нужно ли тормозить. «Галлюцинированная» оценка скорости — с погрешностью всего в несколько метров в секунду — может стать разницей между безопасной остановкой и столкновением.
Эхсан Адели (Ehsan Adeli), директор Stanford Translational Artificial Intelligence (STAI) Lab и старший автор статьи, подчеркнул, что это ограничение является основным узким местом для автономии уровня 5 (Level 5 autonomy). Текущие системы часто полагаются на LIDAR и радар, чтобы обходить необходимость визуального рассуждения, но по-настоящему универсальный агент ИИ — тот, который может действовать только на основе камер, подобно человеку — должен овладеть этими интуитивными физическими расчётами.
Путь вперёд: от правдоподобия к точности
Несмотря на мрачные результаты, команда Stanford считает, что QuantiPhy предлагает дорожную карту для улучшения. В исследовании отмечается, что текущие парадигмы обучения для моделей визуально-языковой обработки преимущественно смещены в сторону семантического понимания (что это?) в ущерб количественному рассуждению (насколько быстро это?).
Чтобы сократить этот разрыв, исследователи предлагают изменить методологию обучения:
- Интеграция симуляционных данных: обучение моделей на синтетических данных из физических движков, где истинные значения скорости, массы и трения абсолютны.
- Chain-of-Thought Prompting for Physics (пошаговое рассуждение для физики, Chain-of-Thought Prompting for Physics): поощрение моделей к «показу работы» путём явного вычисления соотношений пикселей к метрам перед выводом окончательного ответа.
- Hybrid Architectures (гибридные архитектуры, Hybrid Architectures): комбинирование семантических сильных сторон крупных языковых моделей с специализированными «neural physics engines» (нейронными физическими движками, neural physics engines), которые выполняют математические вычисления сцены.
По мере того как индустрия ИИ движется к Artificial General Intelligence (AGI) (универсальный искусственный интеллект, Artificial General Intelligence (AGI)), способность понимать физический мир остаётся последним рубежом. Пока модели не смогут надёжно отличать по визуальным подсказкам быстро едущий автомобиль от припаркованного, их роль в физическом мире будет ограничена.
