Stanford 연구, AI의 기본 물리학 맹점을 드러내다
한 해 동안 인공지능이 창의적 글쓰기부터 복잡한 코딩까지 거의 모든 것을 숙달한 것처럼 보였지만, Stanford 대학의 새로운 연구는 놀라운 한계를 지적했다: 고급 AI 모델은 기본 물리법칙을 이해하는 데 어려움을 겪는다. 물리적 추론을 테스트하도록 설계된 종합 벤치마크인 "QuantiPhy"의 공개로, 가장 정교한 비전-언어 모델(Vision-Language Models, VLMs)조차도 속도, 거리, 크기 같은 기본적인 직관적 능력을 정확히 추정하지 못하는 경우가 빈번하다는 사실이 드러났다. 이러한 능력은 인간의 직관에 기본적이며 자율 시스템 배치에 매우 중요하다.
스탠퍼드 인간중심 인공지능 연구소(Stanford Institute for Human-Centered Artificial Intelligence, HAI)가 주도한 이 연구는, AI가 낙하하는 물체의 영상을 시적으로 묘사할 수는 있지만 그 물체가 얼마나 빠르게 떨어지는지 또는 어디에 착지할지를 수치적으로 정확하게 계산하지 못하는 경우가 많다고 제시한다. 이 같은 "정량적 격차"는 로보틱스와 자율주행 기술에 대한 업계의 야망에 있어 중요한 장애물을 의미한다.
The QuantiPhy Benchmark: Testing Reality
수년간 AI 평가는 주로 정성적 이해에 초점을 맞춰왔다—모델에게 영상에서 고양이를 식별하게 하거나 사람이 걷는 동작을 묘사하게 하는 식이다. 그러나 이런 과제들은 장면을 지배하는 물리적 속성을 모델이 이해하는지를 거의 시험하지 않는다. 이를 해결하기 위해 Stanford 팀은 멀티모달 AI의 정량적 물리 추론 능력을 평가하도록 특별히 설계된 최초의 데이터셋인 **QuantiPhy**를 개발했다.
이 벤치마크는 모델이 "운동학적 추론(kinematic inference)"을 수행해야 하는 3,300개 이상의 영상-텍스트 인스턴스로 구성된다. 단순히 장면을 묘사하는 대신, AI는 다음과 같은 시각적 증거에 기초한 정확한 수치 질문에 답해야 한다.
- "당구공의 1.0초 지점에서의 속도는 얼마인가?"
- "대상자의 평균 보행 속도를 고려할 때, 두 도로 표지판 사이의 거리는 얼마인가?"
- "배경에 대한 운동을 기반으로 물체의 높이를 계산하라."
이 문제들을 해결하기 위해 모델은 추측에 의존할 수 없다; 연구자들이 말하는 '명시적 시각 측정(explicit visual measurement)'을 수행해야 한다. 즉, 제공된 선험 지식(알려진 사실)을 사용해 픽셀 변위를 실세계 단위에 매핑해야 한다. 연구 결과는 냉정했다: 널리 사용되는 ChatGPT-5.1을 포함한 최상위 모델들이 자신감 있게 답을 내놓았지만 수학적으로는 틀린 경우가 많았다.
"암기된 선험지식(Memorized Priors)"의 함정
연구의 가장 중요한 발견 중 하나는 현재의 AI 모델들이 실제로 물리를 '본다'기보다는 그것을 암기한다는 점이다. 영상이 주어지면 모델들은 실제 시각적 입력보다는 학습 데이터(선험지식)에 의존하는 경향이 있다.
예를 들어 모델이 코끼리를 보면, 학습 데이터에서 얻은 통계적 확률로부터 "코끼리는 크다"는 정보를 꺼낸다. 영상에 어린 코끼리나 착시로 인해 작은 크기가 보이는 경우에도 모델은 종종 시각적 현실을 무시하고 암기된 지식을 우선한다.
이 현상은 연구자들의 실험에서 극명하게 드러났다. 시각적 신호가 명확하고 객체가 예상 패턴을 따르는(예: 정상 속도로 움직이는 표준 자동차) 경우 모델은 적절히 수행했다. 그러나 연구자들이 모델의 적응력을 시험하기 위해 물체의 크기나 속도를 비정상적으로 조정하는 '반사실적 선험지식(counterfactual priors)'을 도입했을 때는 AI의 추론이 붕괴했다. 모델은 영상 증거 대신 학습 데이터와 일치하는 숫자를 계속 출력했다.
연구자들은 이것이 근본적인 '접지(grounding)'의 결여를 나타낸다고 주장한다. 모델들은 원시 시각 데이터로부터 물리적 속성을 계산하기보다는 관련 텍스트와 숫자를 검색해 이해를 시뮬레이션하고 있다.
비교 분석: 모델 성능 vs. 현실
QuantiPhy 벤치마크는 다양한 물리 과제에서의 일관성 없는 성능을 드러냈다. 모델들은 단순한 물체 수 세기나 정적 식별에서는 어느 정도 능력을 보였지만, 동적 운동학적 속성—속도와 가속도—을 처리하는 능력은 현저히 부족했다.
다음 표는 QuantiPhy 데이터셋의 특정 테스트 사례를 강조하며, 실제 물리 값과 AI 추정치 간의 불일치를 보여준다.
Table 1: QuantiPhy Benchmark Performance Examples
| Task Scenario | Visual Input Prior | Ground Truth | AI Model Estimate (ChatGPT-5.1) | Analysis of Failure |
|---|---|---|---|---|
| Velocity Estimation | 당구공 직경 (57.4 mm) | 24.99 cm/s | 24.00 cm/s | 거의 성공: 모델은 여기서 잘 수행했다. 아마도 이 시나리오가 표준 물리학 학습 데이터와 단순하고 깨끗한 시각적 배경에 부합했기 때문이다. |
| Object Sizing | 코끼리 보행 속도 (2.31 m/s) | 2.20 meters | 1.30 meters | 치명적 실패: 모델은 높이를 심각하게 과소평가했으며, 보행 속도 선험 지식과 동물의 수직 치수를 연관시키지 못했다. |
| Distance Calculation | 보행자 속도 (1.25 m/s) | 4.77 meters | 7.00 meters | 공간 오류: 도로 표지판 사이 거리를 크게 과대평가했으며, 2D 픽셀 깊이를 3D 실제 공간으로 매핑하지 못함을 나타낸다. |
| Scale Sensitivity | 차량 길이 (scaled to 5,670 m) | Matches Scale | Normal Car Size | 사전 편향: 디지털로 조작된 "거대한" 차량이 제시되었을 때 모델은 시각적 스케일을 무시하고 메모리의 표준 차량 크기로 되돌아갔다. |
로보틱스와 자율 시스템에 대한 시사점
정확한 물리 추론을 수행하지 못하는 것은 단순한 학문적 호기심 문제가 아니다; 이는 구현된 AI의 안전과 직결되는 문제다. 자율주행차(AV), 배송 드론, 가정용 로봇은 불변의 운동 법칙이 지배하는 물리적 세계에서 작동한다.
자율주행차의 경우 '그럴듯한' 추론은 불충분하다. 차량의 AI 시스템이 횡단보도로 달려오는 아이를 본다면, 제동 여부를 결정하기 위해 아이의 속도와 경로를 차량 자신의 속도와 관련해 정확히 계산해야 한다. 단 몇 m/s라도 빗나간 '환각된' 속도 추정은 안전한 정지와 충돌 사이의 차이가 될 수 있다.
논문 공동저자이자 Stanford Translational Artificial Intelligence (STAI) Lab 소장인 Ehsan Adeli는 이 한계가 레벨 5 자율주행의 주된 병목임을 강조했다. 현재 시스템들은 시각적 추론의 필요를 회피하기 위해 라이다(LIDAR)와 레이더에 의존하는 경우가 많지만, 인간처럼 카메라만으로도 작동할 수 있는 진정한 범용 에이전트는 이러한 직관적 물리 계산을 숙달해야 한다.
앞으로의 길: 그럴듯함에서 정밀함으로
암울한 결과에도 불구하고 Stanford 팀은 QuantiPhy가 개선을 위한 로드맵을 제공한다고 본다. 연구는 비전-언어 모델의 현재 학습 패러다임이 정량적 추론(이 물체가 얼마나 빠른가?)보다는 의미론적 이해(이것은 무엇인가?)에 지나치게 치우쳐 있음을 지적한다.
이 간극을 메우기 위해 연구자들은 학습 방법론의 전환을 제안한다:
- 시뮬레이션 데이터 통합: 속도, 질량, 마찰에 대한 실제 값이 절대적으로 정해진 물리 엔진의 합성 데이터로 모델을 학습시키기.
- 물리학을 위한 사고 연쇄(Chain-of-Thought) 프롬프트: 최종 답을 출력하기 전에 픽셀-미터 비율을 명시적으로 계산하도록 모델에게 '작업 과정을 보여주게' 권장하기.
- 하이브리드 아키텍처: 대형 언어 모델의 의미론적 강점을 장면의 수학적 계산을 처리하는 특화된 '신경 물리 엔진'과 결합하기.
AI 산업이 범용 인공지능(Artificial General Intelligence, AGI)을 향해 나아가면서, 물리적 세계를 이해하는 능력은 최후의 개척지로 남아 있다. 모델들이 시각적 신호만으로도 주행 중인 자동차와 주차된 자동차를 신뢰성 있게 구분할 수 있을 때까지, 이들의 물리적 세계에서의 역할은 제한적일 것이다.
