O pioneiro da IA que aposta contra chatbots maiores
O pioneiro da IA Yann LeCun argumenta há muito tempo que escalar apenas a previsão do próximo token não alcançará inteligência de nível humano, uma crítica distinta de rejeitar por completo os modelos de linguagem. Seu ceticismo decorre da limitação fundamental do texto como fonte de dados, afirmando que a compreensão do mundo real exige uma entrada mais rica e multimodal.
As credenciais de LeCun conferem peso significativo à sua posição. Ele foi co-pioneiro das redes neurais convolucionais (CNNs) na Bell Labs, o que lhe rendeu o Prêmio Turing de 2018, junto com Geoffrey Hinton e Yoshua Bengio. Sua liderança de uma década como Chief AI Scientist da Meta, seguida de sua saída para fundar a AMI Labs com uma rodada seed de US$ 1,03 bilhão, sinaliza uma aposta de pesquisa séria contra a tendência predominante do setor.
Este artigo explora se o novo artigo de LeCun, "Proving and Improving the Platonic Representation Hypothesis with JEPAs", oferece respaldo empírico para um caminho alternativo. Em especial, examinaremos se o seu benchmark, que demonstra um modelo de 109 milhões de parâmetros superando modelos de 72 bilhões de parâmetros em alinhamento de representações entre modalidades, realmente valida sua hipótese e o que sua métrica específica nos diz de forma legítima sobre o futuro da IA.
Por que o texto não consegue ensinar a uma IA como o mundo funciona
Os modelos de linguagem se destacam em tarefas baseadas em texto porque aprendem a prever o próximo token em uma sequência. Isso envolve identificar padrões estatísticos em conjuntos de dados massivos, o que lhes permite gerar prosa coerente, escrever código e até realizar operações matemáticas complexas. Sua proficiência decorre de dominar a lógica interna da própria linguagem.
No entanto, Yann LeCun argumenta que o texto, por si só, oferece uma visão empobrecida da realidade. Ele afirma que uma criança pequena, durante seus primeiros quatro anos, processa aproximadamente o mesmo volume de dados por meio da entrada visual, cerca de 10^14 bytes, que os maiores modelos de linguagem consomem de todo o texto publicamente disponível na internet. Esse fluxo visual fornece experiência direta com leis físicas: gravidade, permanência do objeto e propriedades dos materiais.
Essa distinção explica um paradoxo persistente: a IA consegue passar no exame da ordem dos advogados e tem dificuldades com a robótica doméstica. Embora os chatbots demonstrem notável fluência linguística, a percepção e a ação no mundo real continuam difíceis de alcançar. A robótica e a condução autônoma enfrentam ambientes contínuos e incertos, nos quais pequenos erros têm consequências no mundo real, um desafio que os padrões estatísticos de texto não conseguem enfrentar plenamente.
O JEPA prevê as partes úteis, não cada pixel
Um modelo de mundo é a representação interna que uma IA tem de seu ambiente, permitindo prever como as situações podem evoluir, como antecipar a trajetória de uma bola em movimento. A IA generativa tradicional, porém, muitas vezes prevê cada mínimo detalhe, como cada pixel de uma imagem futura, o que é computacionalmente caro e muitas vezes desnecessário.
As Joint-Embedding Predictive Architectures (JEPAs) oferecem uma alternativa. Em vez de gerar saídas detalhadas, as JEPAs codificam observações em uma representação latente compacta e abstrata e realizam previsões dentro desse espaço. Essa abordagem se concentra em prever as partes úteis dos estados futuros, ignorando ruídos irrelevantes.
A ideia central é que observações da mesma cena subjacente, mesmo em modalidades diferentes (por exemplo, texto e visão), devem convergir para representações alinhadas nesse espaço latente. Esse conceito, formalizado como Platonic Representation Hypothesis, sugere que um modelo pode aprender uma compreensão unificada da realidade a partir de entradas diversas. Para leitura adicional, consulte o artigo Proving and Improving the Platonic Representation Hypothesis with JEPAs.
Em um benchmark recente, um JEPA de texto de 109 milhões de parâmetros obteve pontuação de 0,184 em alinhamento de representações entre modalidades em relação ao modelo de visão DINOv2 da Meta. Isso superou de forma significativa o Qwen2.5-72B (0,154) e o Llama-3-70B (0,151), apesar de ser cerca de 660 vezes menor. Os JEPAs também demonstram notável eficiência de amostras, exigindo apenas 21,6 milhões de amostras pareadas, em comparação com 900 milhões da previsão tradicional do próximo token.
Gostando do artigo? Receba um assim na sua caixa de entrada toda manhã.
um e-mail por dia · cancele em dois cliques · sem rastreadores de terceiros
O benchmark é impressionante, mas mais restrito do que o alarde sugere
O artigo apresenta uma comparação quantitativa impressionante: um modelo JEPA de texto de 109 milhões de parâmetros alcançou uma pontuação de alinhamento de representações de 0,184 com o modelo de visão DINOv2 da Meta. Isso superou de forma significativa o Qwen2.5-72B, que obteve 0,154, e o Llama-3-70B, com 0,151, demonstrando alinhamento entre modalidades superior com um modelo cerca de 660 vezes menor.
Essa eficiência se estendeu aos requisitos de dados. O framework baseado em JEPA obteve seu alinhamento usando apenas 21,6 milhões de amostras pareadas, um forte contraste com as 900 milhões de amostras exigidas pelas abordagens de previsão do próximo token para atingir um alinhamento semelhante neste cenário experimental específico. Isso destaca uma possível vantagem de eficiência de amostras em certos paradigmas de aprendizado, e não uma redução universal de custos em todas as tarefas de IA.
É fundamental notar que este benchmark avalia o alinhamento de representações, e não capacidades como conversação por chat, programação complexa ou raciocínio matemático avançado. O artigo apresenta evidências convincentes de que os objetivos de aprendizado e a estrutura dos dados influenciam profundamente a eficiência dos modelos e a compreensão emergente. Embora promissoras, a aplicabilidade mais ampla dos JEPAs a tarefas diversas do mundo real e sua escalabilidade para modelos maiores continuam sendo áreas para exploração e testes futuros.
Perguntas frequentes
O que é JEPA em IA?
JEPA, ou Joint-Embedding Predictive Architecture, prevê relações entre representações abstratas dos dados, em vez de reconstruir cada pixel ou token bruto.
Um JEPA de 109 milhões de parâmetros superou chatbots de 72 bilhões de parâmetros?
Superou modelos muito maiores em um benchmark de alinhamento de representações entre modalidades. Não foi testado como chatbot nem como sistema de raciocínio de uso geral.
O que é a Platonic Representation Hypothesis?
Propõe que modelos de IA treinados em diferentes modalidades podem aprender representações internas semelhantes do mundo subjacente.
Esta pesquisa prova que escalar grandes modelos de linguagem é um beco sem saída?
Não. Os resultados sustentam uma abordagem diferente de aprendizado de representações, mas não mostram que o JEPA substitui os modelos de linguagem em tarefas do mundo real.