A Divergent Path: LeCun’s Warning to the AI Industry

人工知能コミュニティに衝撃を与えた動きとして、チューリング賞受賞者であり元MetaのChief AI ScientistであるYann LeCunは、テック界に対して厳しい警告を発しました：業界が大規模言語モデル（Large Language Models、LLMs）に固執することは、真の汎用人工知能（Artificial General Intelligence、AGI）への道における「行き止まり」だと。現在のAI研究の状況について率直に語る中で、LeCunは既存のアーキテクチャを単にスケールアップするという一般的な戦略（多くは「もっとGPUを追加するだけだ」と要約される）が、収穫逓減の段階に達していると主張しました。

LeCunの発言は、彼がパリに拠点を置く新たなベンチャー、AMI (Advanced Machine Intelligence) Labsに舵を切った時期に出てきました。AI開発の戦略的方向性をめぐる根本的な意見の相違によりMetaの執行役を離れたLeCunは、現在「ワールドモデル（World Models）」として知られる別のパラダイムに大きく賭けています。彼の批判は、GPT-4やLlamaのようなLLMsが人間言語の統計的パターンを習得している一方で、現実世界で知的に行動するために必要な推論能力、物理的直観、計画能力を根本的に欠いていることを示唆しています。

The "Dead End" of Large Language Models

LeCunの論点の核心は、LLMsの自己回帰的（auto-regressive）性質に内在する限界にあります。これらのモデルは、前の文脈に基づいてシーケンスの次のトークンを予測することで機能します。LeCunは、この仕組みは現実の内部シミュレーションを伴わないため、本物の知性には不十分だと主張します。

「LLMは、グラスをテーブルから押すと割れることを理解しているわけではない」とLeCunは最近のインタビューで説明しました。「それは単に『glass』と『break』という語がその文脈で一緒に現れることが多いと知っているだけだ。実際に推論を持っているわけではなく、推論を真似しているに過ぎない。」

The "House Cat" Analogy

その欠陥を示すために、LeCunはしばしば「家猫」のアナロジーを用います。彼は、一般的な飼い猫は重力、運動量、物体の永続性といった物理的世界の理解において、現存する最大のLLMsよりはるかに洗練された理解を持っていると指摘します。猫はジャンプを計画し、着地面の安定性を予測し、リアルタイムで動作を調整できます。これに対し、何兆語ものテキストで訓練されたLLMは意味のある「計画」を立てることができません；単にもっともらしく聞こえる計画の物語を幻視するだけです。

The Hallucination Problem

LeCunは、モデルが自信を持って誤った情報を生成する「ハルシネーション（hallucination）」は、単にデータを増やしたり人間のフィードバックによる強化学習（Reinforcement Learning from Human Feedback、RLHF）で修正できるバグではないと論じます。むしろ、それは確率的アーキテクチャの特徴です。モデルは常に次の語を選ぶためにサイコロを振っているため、生成されたテキストが長くなるほど事実から乖離する非ゼロの確率が存在します。LeCunは、安全性が重要な用途において、この予測不能性は容認できないと断言します。

Enter World Models: The JEPA Architecture

LeCunが提案する解決策は「ワールドモデル（World Models）」へのシフトであり、特に彼がJEPAと呼ぶアーキテクチャ（Joint Embedding Predictive Architecture、JEPA）を活用することです。LLMsがテキストトークンの離散空間で動作するのに対し、JEPAは抽象的な表現空間で動作します。

ワールドモデルの基本哲学は、環境の因果関係をシミュレートすることです。次のピクセルや単語を予測するのではなく（これは計算コストが高くノイズに弱い）、ワールドモデルは抽象的な特徴空間における世界の状態を予測します。これにより、移動する車の後ろで風に揺れる葉の動きのような無関係な細部を無視し、関連するエージェントや物体に集中できます。

Objective-Driven AI

このアプローチは、LeCunが「目的志向のAI（Objective-Driven AI）」と呼ぶものへの道を開きます。この枠組みでは、AIエージェントは単なる受動的な予測器ではなく能動的なプランナーです。高レベルの目標（例：「食事を用意する」）を一連のサブゴールに分解し、さまざまな行動の結果を内部ワールドモデルでシミュレートしてから実行します。この「行動前のシミュレーション」ループは生物の脳が機能する方法であり、LeCunによればAGIに到達するための唯一の実行可能な道です。

The Efficiency Gap

もう一つの重要な相違点はデータ効率です。LeCunは人間の学習とLLM訓練の間にある巨大な格差を強調しています。

• LLMの訓練： 数千年分の人間の読書に相当するテキストデータを必要とする。
• 人間の学習： 4歳の子供が目にするデータはLLMより約50倍多いが、その大部分はテキストではなく視覚・感覚データである。

子供は「常識」—目を閉じても物体が消えないこと、支持されていない物体は落ちること—を主に相互作用と観察を通じて、ほとんど教師なしで学びます。LeCunのAMI Labsは、ビデオや感覚データからの自己教師あり学習を再現することを目指し、人間がラベル付けしたテキストのボトルネックを回避しようとしています。

Industry Implications and the "Herd" Mentality

LeCunの立場はシリコンバレーの現在の勢いと対立します。OpenAI、Google、そして新たなAIリーダーシップ下のMetaのような企業は、より大きなデータセンターを構築し、より大きなトランスフォーマーを訓練するために何十億ドルも投じ続けています。LeCunはこれを「群れのメンタリティ（herd mentality）」と特徴付け、業界は計算を増やしても推論能力にほとんど利益が得られないプラトーに向かって進んでいると警告します。

この分裂は技術の未来に関する根本的な賭けを表します。一方はスケーリング仮説（Scaling Hypothesis）—知能は巨大なスケールから現れるとする信念—です。もう一方はLeCunのアーキテクチャ仮説（Architecture Hypothesis）—哺乳類の皮質の階層的かつ予測的な構造を模倣する根本的に新しい設計図が必要だという信念—です。

The Road Ahead for AGI

業界が生成型チャットボット（generative chatbots）の能力を祝う一方で、LeCunは我々がまだ「Advanced Machine Intelligence」を備えた機械からはほど遠いと警告します。彼は、LLMsからワールドモデルへの移行が、推論し、計画し、物理的世界を確実に理解できるシステムを達成するために必要になると予測しています。

AMI Labsの立ち上げは、この議論の新しい章を示しています。十分な資金とJEPAアーキテクチャに専念する研究者チームを擁して、LeCunは批判から構築へと動いています。ワールドモデルが現在のLLMの支配を凌駕するかどうかはまだ未知数ですが、彼の警告はAGIへの道が単にスケーリング則によって引かれる一本の直線だという前提に対する重要な抑止となっています。

Comparison: LLMs vs. World Models

Conclusion

Yann LeCunの「LLMsは行き止まりである」という宣言は単なる批評を超え、研究者たちにチャットボットの即時的な満足感を超えて目を向けることを促す行動の呼びかけです。Creati.aiが人工知能（artificial intelligence）の進化を引き続き監視する中で、「スケーリング」派と「ワールドモデル」派のこの分岐が、次の十年のイノベーションを定義していく可能性が高いでしょう。LeCunが正しければ、AIの次の大きな飛躍はより大きなチャットボットからではなく、ついに世界の仕組みを理解するシステムから生まれるでしょう。