다른 길: LeCun의 AI 업계에 대한 경고

인공 지능 커뮤니티에 충격을 준 움직임에서, 튜링상 수상자이자 메타의 전 수석 AI 과학자인 Yann LeCun은 기술계에 단호한 경고를 보냈다: 업계가 대형 언어 모델(Large Language Models, LLMs)에 집착하는 것은 진정한 인공 일반 지능(Artificial General Intelligence, AGI)으로 가는 길에서 "막다른 길"이라는 것이다. 현재 AI 연구의 상태에 대해 솔직하게 말하면서, LeCun은 기존 아키텍처를 단순히 확장하는 전략—종종 "단지 GPU를 더 추가하라"로 요약되는—이 수확체감의 시점에 이르렀다고 주장했다.

LeCun의 발언은 그가 파리에 기반을 둔 새로운 벤처인 AMI (Advanced Machine Intelligence) Labs로 전환하면서 나왔다. AI 개발의 전략적 방향에 대한 근본적인 의견 차이로 메타의 경영직에서 물러난 그는 이제 "월드 모델(World Models)"로 알려진 대안적 패러다임에 크게 베팅하고 있다. 그의 비판은 GPT-4와 Llama 같은 LLM들이 인간 언어의 통계적 패턴을 숙달했을 수는 있지만, 현실 세계에서 지능적으로 작동하는 데 필요한 추론 능력, 물리적 직관, 계획 능력이 근본적으로 결여되어 있다고 시사한다.

대형 언어 모델의 "막다른 길"

LeCun 주장의 핵심에는 LLM의 자기회귀(auto-regressive)적 특성의 내재적 한계가 있다. 이러한 모델들은 이전 문맥을 바탕으로 시퀀스에서 다음 토큰을 예측하는 방식으로 작동한다. LeCun은 이 메커니즘이 현실의 내부 시뮬레이션을 포함하지 않기 때문에 진정한 지능에는 불충분하다고 주장한다.

"LLM은 당신이 유리잔을 탁자에서 밀면 깨진다는 것을 이해하지 못한다," LeCun은 최근 인터뷰에서 설명했다. "그것은 단지 '유리(glass)'와 '깨진다(break)'라는 단어들이 그 문맥에서 자주 함께 등장한다는 것만 알고 있다. 실제로 추론을 소유하지 않고 추론을 흉내 내는 것이다."

"집고양이" 비유

결손을 설명하기 위해 LeCun은 자주 "집고양이" 비유를 사용한다. 그는 일반적인 집고양이가 중력, 운동량, 대상 영속성 같은 물리적 세계에 대해 가장 큰 LLM들보다 훨씬 더 정교한 이해를 가지고 있다고 지적한다. 고양이는 점프를 계획하고, 착지 표면의 안정성을 예상하며, 실시간으로 움직임을 조정할 수 있다. 반면 수조 단어로 학습된 LLM은 어떤 의미 있는 방식으로 "계획"할 수 없으며, 단지 그럴듯하게 들리는 계획 서사를 환각적으로 만들어낼 뿐이다.

환각 문제

LeCun은 모델이 자신 있게 잘못된 정보를 생성하는 사례인 환각(hallucination)이 단순히 더 많은 데이터나 인간 피드백 기반 강화학습(Reinforcement Learning from Human Feedback, RLHF)으로 고칠 수 있는 버그가 아니라고 주장한다. 대신 그것들은 확률적 아키텍처의 특징이다. 모델은 항상 다음 단어를 선택하기 위해 주사위를 굴리므로, 생성된 텍스트가 길어질수록 사실적 현실에서 벗어날 비제로 확률이 존재한다. LeCun은 안전에 중요한 응용 분야에서는 이 예측 불가능성이 용납될 수 없다고 강조한다.

월드 모델의 등장: JEPA 아키텍처

LeCun이 제안한 해결책은 "월드 모델(World Models)"로의 전환이며, 구체적으로 그가 Joint Embedding Predictive Architecture(JEPA)를 부르는 아키텍처를 활용하는 것이다. LLM이 텍스트 토큰이라는 이산 공간에서 작동하는 것과 달리, JEPA는 추상적 표현 공간에서 작동한다.

월드 모델의 핵심 철학은 환경의 인과관계를 시뮬레이션하는 것이다. 다음 픽셀이나 단어를 예측하는 대신(이는 계산 비용이 많이 들고 잡음에 취약함), 월드 모델은 추상적 특징 공간에서 세계의 상태를 예측한다. 이는 시스템이 움직이는 차 뒤의 바람에 흔들리는 잎사귀 움직임 같은 관련 없는 세부사항을 무시하고 관련 있는 행위자와 객체에 집중할 수 있게 한다.

목표 지향형 AI

이 접근법은 LeCun이 "목표 지향형 AI(Objective-Driven AI)"라고 부르는 것의 길을 열어준다. 이 체계에서 AI 에이전트는 단순한 수동 예측자가 아니라 능동적 계획자다. 에이전트는 높은 수준의 목표(예: "식사 준비")를 하위 목표들의 시퀀스로 분해하고, 내부 월드 모델을 사용해 다양한 행동의 결과를 시뮬레이션한 뒤 실행한다. 이러한 "행동 이전의 시뮬레이션" 루프는 생물학적 뇌가 기능하는 방식이며, LeCun에 따르면 AGI에 도달하는 유일한 실현 가능한 경로다.

효율성 격차

또 다른 중요한 분기점은 데이터 효율성이다. LeCun은 인간 학습과 LLM 훈련 간의 거대한 격차를 강조해왔다.

• LLM 훈련: 수천 명의 인간이 평생 읽는 것에 해당하는 텍스트 데이터가 필요하다.
• 인간 학습: 네 살 어린이는 LLM보다 약 50배 더 많은 데이터를 보지만, 그 대부분은 텍스트가 아니라 시각적·감각적 데이터다.

어린이는 "일반 상식"—눈을 감았을 때 물체가 사라지지 않는다는 것, 지지되지 않은 물체는 떨어진다는 것—을 주로 상호작용과 관찰을 통해 대부분 감독 없이 학습한다. LeCun의 AMI Labs는 텍스트로 라벨된 인간 데이터의 병목을 우회하여 비디오와 감각 데이터로부터의 자가 지도 학습(self-supervised learning)을 복제하는 것을 목표로 한다.

산업적 영향과 "무리" 심리

LeCun의 입장은 실리콘밸리의 현재 모멘텀과 충돌한다. OpenAI, Google, 심지어 메타(새로운 AI 리더십 하에서)와 같은 기업들은 더 큰 데이터 센터를 구축하고 더 큰 트랜스포머를 훈련하는 데 수십억을 계속 투입하고 있다. LeCun은 이를 "무리 심리(herd mentality)"로 규정하며, 업계가 계산 자원을 더 추가해도 추론 능력에서는 미미한 이득만을 낳는 고지대로 향하고 있다고 경고한다.

이 분열은 기술의 미래에 대한 근본적 배팅을 나타낸다. 한쪽은 지능이 대규모에서 나온다는 믿음인 스케일링 가설(Scaling Hypothesis)을 지지한다. 다른 한쪽은 포유류 피질의 계층적이고 예측적인 구조를 모방하는 근본적으로 새로운 청사진이 필요하다고 보는 아키텍처 가설(Architecture Hypothesis), 즉 LeCun의 입장이다.

AGI를 향한 앞으로의 길

업계가 생성형 챗봇의 능력을 축하하는 동안, LeCun은 우리가 여전히 "Advanced Machine Intelligence"를 가진 기계와는 거리가 멀다고 경고한다. 그는 LLM에서 월드 모델로의 전환이 추론하고 계획하며 물리적 세계를 신뢰성 있게 이해할 수 있는 시스템을 달성하는 데 필요할 것이라고 예측한다.

AMI Labs의 출범은 이 논쟁의 새로운 장을 의미한다. JEPA 아키텍처에 전념하는 연구진과 상당한 자금으로, LeCun은 비판에서 구축으로 이동하고 있다. 그의 월드 모델 비전이 현재 LLM의 지배를 능가할지는 지켜봐야 하겠지만, 그의 경고는 AGI로 가는 길이 스케일링 법칙이 그린 직선이라는 가정에 대한 중요한 견제 역할을 한다.

비교: LLMs 대 월드 모델

결론

Yann LeCun의 LLM이 "막다른 길"이라는 선언은 단순한 비판을 넘어 연구자들에게 챗봇의 즉각적 만족을 넘어서 보라고 촉구하는 행동이다. Creati.ai가 인공지능의 진화를 계속 주시하는 가운데, "스케일링" 진영과 "월드 모델" 진영 간의 이 분열은 향후 10년의 혁신을 규정할 가능성이 높다. 만약 LeCun의 주장이 맞다면, AI의 다음 큰 도약은 더 큰 챗봇에서 나오는 것이 아니라 마침내 세상이 어떻게 작동하는지를 이해하는 시스템에서 나올 것이다.