더 큰 챗봇에 반대하는 AI 선구자
AI 선구자 Yann LeCun은 다음 토큰 예측의 규모를 키G우는 것만으로는 인간 수준의 지능에 도달할 수 없다고 오랫동안 주장해 왔습니다. 이는 언어 모델을 전면적으로 부정하는 것과는 구별되는 비판입니다. 그의 회의론은 텍스트라는 데이터 소스의 근본적인 한계에서 비롯되며, 현실 세계에 대한 이해에는 더 풍부한 멀티모달 입력이 필요하다고 그는 주장합니다.
LeCun의 이력은 그의 입장에 상당한 무게를 실어 줍니다. 그는 Bell Labs에서 합성곱 신경망(CNN)의 공동 개척자로 활동했으며, 이를 통해 Geoffrey Hinton, Yoshua Bengio와 함께 2018년 튜링상을 받았습니다. 10년간 Meta의 최고 AI 과학자(Chief AI Scientist)로 이끈 뒤 회사를 떠나 $1.03 billion 규모의 시드 라운드로 AMI Labs를 설립한 것은, 업계의 지배적인 흐름에 맞서는 진지한 연구적 베팅임을 보여줍니다.
이 글에서는 LeCun의 새 논문 "Proving and Improving the Platonic Representation Hypothesis with JEPAs"가 대안적 경로에 대한 실증적 근거를 제공하는지 살펴봅니다. 구체적으로, 교차 모달 표현 정렬에서 109 million 파라미터 모델이 72 billion 파라미터 모델을 능가했다는 벤치마크가 그의 가설을 실제로 입증하는지, 그리고 해당 지표가 AI의 미래에 대해 정당하게 말해 주는 바가 무엇인지 검토합니다.
텍스트만으로는 AI에게 세계가 작동하는 방식을 가르칠 수 없는 이유
언어 모델은 시퀀스에서 다음 토큰을 예측하도록 학습하기 때문에 텍스트에 기반한 작업에 뛰어납니다. 이는 방대한 데이터셋 전반에서 통계적 패턴을 식별하는 과정으로, 이를 통해 일관된 글을 생성하고, 코드를 작성하며, 복잡한 수학 연산까지 수행할 수 있습니다. 이러한 숙련도는 언어 자체의 내적 논리를 습득한 데서 나옵니다.
그러나 Yann LeCun은 텍스트만으로는 현실에 대한 빈약한 시각만 제공한다고 주장합니다. 그는 어린아이가 생후 처음 4년 동안 시각 입력을 통해 처리하는 데이터의 양이 약 10^14 bytes로, 가장 큰 언어 모델이 공개된 인터넷 텍스트 전체에서 소비하는 양과 대략 같다고 말합니다. 이러한 시각 정보의 흐름은 중력, 대상 영속성, 물질의 특성 같은 물리 법칙을 직접 경험하게 해 줍니다.
이러한 차이는 AI가 변호사 시험은 통과하면서도 가정용 로봇 분야에서는 어려움을 겪는 지속적인 역설을 설명해 줍니다. 챗봇은 놀라운 언어 유창성을 보여 주지만, 현실 세계의 인식과 행동은 여전히 어려운 과제로 남아 있습니다. 로보틱스와 자율주행은 작은 오류가 현실에서 결과를 초래하는 연속적이고 불확실한 환경에 직면하며, 이는 통계적 텍스트 패턴으로는 완전히 해결할 수 없는 과제입니다.
JEPA는 모든 픽셀이 아니라 유용한 부분을 예측합니다
월드 모델은 AI가 환경에 대해 가지는 내부 표현으로, 움직이는 공의 궤적을 예측하는 것처럼 상황이 어떻게 전개될지 예측할 수 있게 해 줍니다. 그러나 기존의 생성형 AI는 미래 이미지의 모든 픽셀처럼 사소한 세부 사항까지 예측하는 경우가 많으며, 이는 계산 비용이 많이 들고 대개 불필요합니다.
Joint-Embedding Predictive Architectures(JEPA)는 대안을 제시합니다. JEPA는 세부적인 출력을 생성하는 대신 관측값을 간결하고 추상적인 잠재 표현(latent representation)으로 인코딩하고, 이 공간 안에서 예측을 수행합니다. 이 접근 방식은 관련 없는 노이즈를 무시하고 미래 상태 중 유용한 부분을 예측하는 데 초점을 맞춥니다.
핵심 아이디어는 텍스트와 비전처럼 서로 다른 모달리티에 걸쳐 있더라도 동일한 기저 장면에 대한 관측값은 이 잠재 공간에서 정렬된 표현으로 수렴해야 한다는 것입니다. Platonic Representation Hypothesis로 정립된 이 개념은 모델이 다양한 입력으로부터 현실에 대한 통합된 이해를 학습할 수 있음을 시사합니다. 더 읽어 보시려면 논문 Proving and Improving the Platonic Representation Hypothesis with JEPAs를 참고하십시오.
최근 벤치마크에서 109 million 파라미터의 텍스트 JEPA는 Meta의 DINOv2 비전 모델과의 교차 모달 표현 정렬에서 0.184점을 기록했습니다. 이는 Qwen2.5-72B(0.154)와 Llama-3-70B(0.151)를 크게 앞선 결과이며, 크기는 약 660배 작습니다. 또한 JEPA는 뛰어난 샘플 효율성을 보였는데, 기존 다음 토큰 예측 방식에 필요한 900 million개와 비교해 21.6 million개의 짝지어진 샘플만 필요했습니다.
이 글이 마음에 드셨나요? 매일 아침 이런 글을 메일로 받아보세요.
하루 한 통 · 두 번의 클릭으로 구독 취소 · 제3자 추적 없음
이 벤치마크는 인상적이지만, 과장된 기대보다 범위가 좁습니다
이 논문은 인상적인 정량 비교를 제시합니다. 109 million 파라미터 텍스트 JEPA 모델이 Meta의 DINOv2 비전 모델과의 표현 정렬 점수 0.184를 달성했습니다. 이는 0.154를 기록한 Qwen2.5-72B와 0.151을 기록한 Llama-3-70B를 크게 앞선 것으로, 약 660배 작은 모델로 더 우수한 교차 모달 정렬을 보여 주었습니다.
이러한 효율성은 데이터 요구량에서도 나타났습니다. JEPA 기반 프레임워크는 21.6 million개의 짝지어진 샘플만으로 정렬을 달성했으며, 이는 이 특정 실험 설정에서 유사한 정렬을 달성하기 위해 다음 토큰 예측 방식이 필요로 한 900 million개의 샘플과 대조적입니다. 이는 특정 학습 패러다임에서 샘플 효율성의 잠재적 이점을 보여 주는 것이며, 모든 AI 작업에 걸친 보편적인 비용 절감을 의미하지는 않습니다.
무엇보다 이 벤치마크는 대화형 채팅, 복잡한 코딩, 고급 수학적 추론 같은 능력이 아니라 표현 정렬을 평가합니다. 이 논문은 학습 목표와 데이터 구조가 모델의 효율성과 창발적 이해에 큰 영향을 미친다는 설득력 있는 근거를 제시합니다. 유망하기는 하지만, JEPA를 다양한 실제 과제에 폭넓게 적용할 수 있는지와 더 큰 모델로 확장할 수 있는지는 향후 탐구와 테스트가 필요한 영역으로 남아 있습니다.
자주 묻는 질문
AI에서 JEPA란 무엇입니까?
JEPA(Joint-Embedding Predictive Architecture)는 모든 원시 픽셀이나 토큰을 재구성하는 대신, 데이터의 추상적 표현 간의 관계를 예측합니다.
109 million 파라미터의 JEPA가 72 billion 파라미터의 챗봇을 이겼습니까?
교차 모달 표현 정렬 벤치마크에서 훨씬 더 큰 모델을 능가했습니다. 챗봇이나 범용 추론 시스템으로는 테스트되지 않았습니다.
Platonic Representation Hypothesis란 무엇입니까?
서로 다른 모달리티로 학습한 AI 모델이 근본적인 세계에 대해 유사한 내부 표현을 학습할 수 있다는 가설입니다.
이 연구는 대규모 언어 모델의 확장이 막다른 길임을 증명합니까?
아니요. 이 결과는 표현 학습에 대한 다른 접근 방식을 뒷받침하지만, JEPA가 실제 과제 전반에서 언어 모델을 대체한다는 것을 보여주지는 않습니다.