Os pesos deixaram de ser ruído ilegível
As redes neurais aprendem ajustando pesos, valores numéricos que determinam o fluxo de informação entre neurônios artificiais. O treinamento refina iterativamente milhões ou bilhões desses pesos com base em feedback, ajustando-os de forma infinitesimal até que a rede execute sua tarefa. Embora eficaz, esse processo resulta em uma vasta matriz de números inescrutável, que se assemelha a ruído para a inspeção humana.
O Weight-Space Programming (WSP) propõe uma alternativa radical: inspecionar e editar diretamente esses pesos usando o próprio raciocínio de um modelo, dispensando os ciclos tradicionais de treinamento. Esse paradigma transforma os pesos de ruído ilegível em algo potencialmente depurável, como código.
Uma pesquisa do MIT de 2 de novembro, "Sparks of Weight-Space Programming of Weight-Space Programming", demonstrou isso diretamente. O GPT-6 GPT-6 Astra, da OpenAI, inferiu o que pequenas redes haviam aprendido exclusivamente a partir de seus pesos brutos. Por exemplo, dados 17.253 pesos de redes treinadas em jogos do Atari, o GPT-6 Astra identificou corretamente cada jogo sem executá-lo.
De forma ainda mais notável, o GPT-6 Astra analisou os pesos internos de três modelos de linguagem de 7 milhões de parâmetros (Python, inglês, Romaji) com as camadas de entrada e saída removidas. Ele nomeou corretamente o idioma de treinamento dos três e localizou mecanismos de atenção específicos, como "copying heads", sem instrução prévia sobre sua estrutura.
Esses resultados sugerem que os parâmetros de uma rede neural talvez funcionem menos como uma caixa-preta e mais como um programa compilado, ainda que opaco. A capacidade do GPT-6 GPT-6 Astra de "ler" esses padrões intrincados indica que os pesos dos modelos codificam uma lógica programática decifrável.
Um modelo adivinhou o jogo a partir de 17.253 números
Os pesquisadores começaram testando a capacidade do GPT-6 GPT-6 Astra de "ler" pesos de redes. Eles treinaram quatro redes idênticas, cada uma com 17.253 pesos, para jogar um jogo diferente do Atari: Breakout, Pong, Pac-Man ou Freeway. O GPT-6 Astra recebeu os pesos de cada rede como texto bruto, sem rótulos de jogo nem permissão de execução, e identificou corretamente o jogo nos quatro casos.
Os padrões de pesos ofereceram uma pista crucial. Por exemplo, a rede do Breakout mostrou informações de controle da raquete concentradas na parte inferior da área de jogo, refletindo a mecânica da raquete do jogo. Isso sugeriu que a estrutura da tarefa pode ser codificada em distribuições específicas de pesos.
Em seguida, a equipe aumentou o desafio. Removeu as camadas de entrada e saída de três modelos de linguagem com cerca de 7 milhões de pesos, cada um treinado em Python, inglês ou Romaji. O GPT-6 Astra, sem executar os modelos, identificou o idioma de cada um e localizou com precisão cada copying head, mecanismos que ajudam os modelos a repetir texto anterior.
Essas demonstrações têm limites. Embora o GPT-6 Astra tenha analisado com sucesso esses modelos específicos, menores, elas não provam que ele consiga ler ou interpretar de forma intuitiva qualquer modelo de fronteira sem conhecimento prévio. O trabalho destaca uma capacidade incipiente em Weight-Space Programming, não uma solução universal.
Uma edição de 0,016% teria atenuado um grande problema de repetição
Em seguida, o GPT-6 GPT-6 Astra demonstrou o Weight-Space Programming ao escrever novos pesos diretamente. Os pesquisadores pediram ao GPT-6 Astra que gerasse pesos para jogos simples no estilo Atari a partir das regras e do código-fonte, sem nenhum dado de treinamento nem observação de partidas. Seu desempenho teria superado, nos três jogos, os de referência de redes treinadas por 100 milhões de passos e, no Breakout, até redes treinadas por 500 milhões de passos, mas não nos outros dois.
Um teste de escrita mais ambicioso envolveu o reparo de um modelo de linguagem Qwen3.5-0.8B. Esse modelo caía com frequência em ciclos repetitivos de raciocínio, conforme documentado pela Alibaba. O GPT-6 Astra identificou uma direção específica nos pesos de duas camadas (15 e 19) responsável por esse comportamento e alterou 131.072 pesos, apenas 0,016% do total do modelo.
As mudanças relatadas nos benchmarks foram marcantes: a precisão no MATH-500 subiu de 7,9% para 48,1%, e o seguimento de instruções melhorou de 21% para 62,3%. A reconstrução da edição por um engenheiro independente alcançou 51% no MATH-500. Embora as configurações específicas utilizadas possam ter ampliado o comportamento original de repetição, céticos questionam quanto desse diagnóstico automatiza fluxos de trabalho de interpretabilidade já existentes. Para mais detalhes, consulte a pesquisa original: Sparks of Weight-Space Programming of Weight-Space Programming: LLMs can natively read & write neural network weights.
Gostando do artigo? Receba um assim na sua caixa de entrada toda manhã.
um e-mail por dia · cancele em dois cliques · sem rastreadores de terceiros
Um patch não é uma explosão de inteligência
Os resultados relatados parecem mostrar o GPT-6 GPT-6 Astra removendo um obstáculo que ocultava uma capacidade já existente, e não instalando conhecimentos ou habilidades que o modelo nunca teve. A edição no Qwen3.5-0.8B teria atenuado um grande problema de repetição, mas uma tentativa relatada de aprimorar um modelo que raramente entrava em ciclos mostrou pouco ganho. Isso sugere que o modelo é um depurador potente, não um aprimorador de uso geral.
A inspeção direta de pesos é promissora para depuração e, eventualmente, auditorias de modelos. No entanto, esses experimentos não identificaram de forma confiável todas as características comportamentais, como a bajulação (sycophancy), apenas a partir dos pesos. A capacidade demonstrada não deve ser confundida com reparo autônomo e de uso geral de modelos.
Editar outro modelo ainda não é um sistema que se aprimora sozinho. Embora facilitar edições direcionadas também possa enfraquecer salvaguardas, a capacidade de ler e escrever pesos de redes neurais oferece um novo caminho para a interpretabilidade mecanicista.
O acesso a pesos abertos continua sendo um pré-requisito para esse tipo de intervenção. O paradigma do Weight-Space Programming, embora poderoso, evidencia a natureza de dois gumes de um acesso mais profundo aos modelos: ele permite correções precisas, mas também, potencialmente, modificações maliciosas.
Perguntas frequentes
O que é Weight-Space Programming?
É um método no qual um modelo de IA analisa ou edita diretamente os pesos numéricos de outra rede neural, em vez de depender do treinamento convencional para alterá-los.
A IA pode editar os pesos de um modelo sem treinamento?
Nos experimentos relatados, o GPT-6 Astra escreveu ou modificou pesos sem treinamento baseado em gradiente. Os resultados não comprovam que ele consiga melhorar de forma confiável modelos grandes arbitrários.
O que a edição de pesos do Qwen alterou?
Os pesquisadores relataram que o Astra removeu uma direção associada a ciclos repetitivos de raciocínio ao alterar cerca de 0,016% dos pesos do modelo.
O Weight-Space Programming torna a IA capaz de se aprimorar sozinha?
Ainda não. As demonstrações envolveram a edição de outros modelos, menores, e o método pareceu mais eficaz para remover um obstáculo do que para acrescentar uma capacidade que o modelo não tinha.