Waymo интегрирует Genie 3 от DeepMind для революции в обучении автономных транспортных средств
В результате значительного скачка в разработке автономных транспортных средств (Autonomous Vehicle, AV), Waymo официально представила свою новую «Модель мира Waymo» (Waymo World Model) — имитационный движок следующего поколения на базе Genie 3 от Google DeepMind. Эта интеграция знаменует собой кардинальный переход от традиционных симуляций на основе воспроизведения логов к полностью генеративным интерактивным средам, что позволяет компании, принадлежащей Alphabet, обучать свои системы вождения на краевых случаях «длинного хвоста» (long-tail edge cases), которые статистически почти невозможно зафиксировать в реальном мире.
Анонс, сделанный ранее на этой неделе, подчеркивает углубляющуюся синергию между подразделением Google по исследованию ИИ и его дочерней компанией по беспилотному вождению. Используя Genie 3 — модель мира общего назначения, способную создавать игровые фотореалистичные 3D-среды на основе текстовых или графических подсказок, Waymo стремится решить самую сложную задачу отрасли: непредсказуемость открытых дорог.
Переход к генеративному моделированию
В течение многих лет золотым стандартом в симуляции AV было «повторное моделирование» (re-simulating) логов реального мира. Инженеры брали записанные данные сенсоров с транспортного средства автопарка, изменяли определенные параметры (например, скорость пешехода) и проверяли реакцию программного обеспечения. Хотя этот метод эффективен для проверки известных сценариев, он ограничен фактически собранными данными. Если автопарк не сталкивался с конкретной аномалией, он не может точно ее смоделировать.
Waymo World Model разрывает эту зависимость. Построенная на базе Genie 3, она не просто воспроизводит данные; она воображает новые реальности.
Согласно техническому описанию Waymo, система может генерировать последовательные, высокоточные данные сенсоров, включая видео с камер и 3D-облака точек LiDAR, которые отражают сложность физического мира. Это позволяет моделировать опасные или редкие сценарии, такие как формирование торнадо рядом с шоссе, бродячий слон, блокирующий сельскую дорогу, или сложные взаимодействия нескольких агентов в экстремальных погодных условиях.
Основные возможности модели на базе Genie 3
Genie 3 от DeepMind изначально разрабатывалась как базовая модель для создания интерактивных виртуальных миров. Её применение в автономном вождении использует понимание физики, постоянства объектов и причинно-следственных связей. Waymo адаптировала эту основу для создания управляемого симулятора с тремя различными механизмами:
- Driving Action Control (Управление действиями вождения): Это позволяет инженерам тестировать контрфактуальные сценарии (counterfactuals). Например, они могут смоделировать, как бы AV отреагировал, если бы он ускорился вместо того, чтобы уступить дорогу в конкретной исторической ситуации. Модель мира динамически реагирует на эти новые действия, создавая правдоподобные последствия, а не просто воспроизводя запись.
- Scene Layout Control (Управление макетом сцены): Разработчики могут процедурно изменять статичную среду, меняя геометрию дорог, конфигурации светофоров или плотность городских препятствий для стресс-тестирования политики вождения.
- Language Control (Языковое управление): Возможно, самая мощная функция, позволяющая инженерам использовать подсказки на естественном языке для мгновенного изменения условий окружающей среды. Подсказка типа «добавь густой туман и заглохший грузовик в левой полосе» мгновенно обновляет симуляцию, создавая синтетические данные для обучения, которые заполняют пробелы в наборе данных из реального мира.
Решение проблемы «длинного хвоста» безопасности
Основным двигателем этой технологии является безопасность. Автономные системы, как правило, отлично справляются с 99% рутинных задач вождения. Оставшийся 1% — «длинный хвост» (long tail) краевых случаев (edge cases) — остается барьером для повсеместного развертывания уровней L4 и L5.
Используя Генеративный ИИ (Generative AI) для синтеза этих краевых случаев, Waymo может подвергнуть своего «Водителя» (программное обеспечение AV) миллионам вариаций критических сценариев без необходимости проезжать миллиарды физических миль. Это создает петлю обратной связи, в которой ИИ учится на синтетическом опыте, неотличимом от реальности для датчиков автомобиля.
Синтетические данные (Synthetic Data), генерируемые Genie 3, включают точные отражения света, влияние погоды на датчики и реалистичное поведение других участников дорожного движения (пешеходов, велосипедистов и других транспортных средств), гарантируя, что перенос обучения из симуляции в реальный мир остается надежным.
Сравнительный анализ: традиционное vs. генеративное моделирование
В настоящее время отрасль наблюдает переход от симуляторов на основе правил и логов к нейронным симуляторам. В таблице ниже показано, чем новый подход Waymo отличается от устаревших методов.
Сравнение парадигм симуляции AV
| Функция | Традиционное моделирование | Модель мира Waymo (Genie 3) |
|---|---|---|
| Источник данных | Воспроизведение исторических логов и ручные ассеты | Генеративный синтез видео и LiDAR |
| Создание сценария | Ручное написание сценариев для акторов/событий | Текстовые/изобразительные подсказки и процедурная генерация |
| Точность физики | Динамика твердого тела (игровые движки) | Изученная физика и причинно-следственные связи |
| Гибкость | Ограничено существующими ассетами/картами | Бесконечные вариации через латентное пространство |
| Обработка краевых случаев | Трудно моделировать невидимые события | Может галлюцинировать реалистичные события «черный лебедь» |
| Вывод сенсоров | Приблизительный рендеринг | Фотореалистичный нейронный рендеринг |
Интеграция с более широким стеком ИИ
Эта разработка существует не в вакууме. Она стоит в одном ряду с другими исследовательскими инициативами Waymo, такими как EMMA (End-to-End Multimodal Model for Autonomous Driving). В то время как EMMA фокусируется на использовании мультимодальных моделей на базе Gemini для обработки данных сенсоров и принятия решений о вождении, модель мира на базе Genie 3 предоставляет «тренажерный зал» (gym), в котором обучаются эти модели принятия решений.
Эта комбинация предполагает будущее, в котором весь стек AV будет нативным для ИИ: генеративная модель создает мир (Genie 3), а мультимодальная модель управляет в нем автомобилем (EMMA), создавая систему обучения с замкнутым циклом, которая совершенствуется экспоненциально быстрее, чем позволяли бы только испытания в реальном мире.
Отраслевые последствия
Принятие Waymo модели Genie 3 сигнализирует о созревании концепции «Модели мира» в робототехнике. Конкуренты, такие как Tesla, в течение многих лет рекламировали свои собственные подходы к моделям мира, в основном основанные на предсказании видео. Однако реализация Waymo, по-видимому, использует специфические сильные стороны исследований DeepMind в области интерактивных сред, потенциально предлагая более высокую точность с точки зрения управляемости и симуляции сенсоров (особенно LiDAR).
Поскольку регуляторный надзор за автономными транспортными средствами (autonomous vehicles) остается высоким, способность продемонстрировать безопасность посредством строгой и высокоточной симуляции экстремальных сценариев может стать ключевым отличием. Waymo делает ставку на то, что путь к повсеместному развертыванию роботакси начинается с их моделирования в любом месте.
