Los pesos dejaron de ser ruido ilegible
Las redes neuronales aprenden ajustando pesos, valores numéricos que determinan el flujo de información entre neuronas artificiales. El entrenamiento refina de forma iterativa millones o miles de millones de estos pesos a partir de la retroalimentación, desplazándolos de manera infinitesimal hasta que la red realiza su tarea. Aunque es eficaz, este proceso genera una enorme matriz de números inescrutable que, a ojos humanos, se asemeja a ruido.
Weight-Space Programming (WSP) propone una alternativa radical: inspeccionar y editar directamente estos pesos mediante el propio razonamiento de un modelo, sin pasar por los ciclos de entrenamiento tradicionales. Este paradigma convierte los pesos, de ruido ilegible, en algo potencialmente depurable como código.
La investigación del MIT del 2 de noviembre, "Sparks of Weight-Space Programming of Weight-Space Programming", lo demostró de forma directa. GPT-6 GPT-6 Astra, de OpenAI, dedujo lo que habían aprendido pequeñas redes únicamente a partir de sus pesos en bruto. Por ejemplo, a partir de 17.253 pesos de redes entrenadas con juegos de Atari, GPT-6 Astra identificó correctamente cada juego sin ejecutarlo.
Aún más llamativo: GPT-6 Astra analizó los pesos internos de tres modelos de lenguaje de 7 millones de parámetros (Python, inglés, romaji) con sus capas de entrada y salida eliminadas. Nombró con precisión el idioma de entrenamiento de los tres y localizó mecanismos de atención específicos, como las "copying heads", sin instrucción previa sobre su estructura.
Estos resultados sugieren que los parámetros de una red neuronal podrían funcionar menos como una caja negra y más como un programa compilado, aunque opaco. La capacidad de GPT-6 GPT-6 Astra para "leer" estos patrones complejos apunta a que los pesos de un modelo codifican una lógica programática descifrable.
Un modelo adivinó el juego a partir de 17.253 números
Los investigadores comenzaron probando la capacidad de GPT-6 GPT-6 Astra para "leer" pesos de redes. Entrenaron cuatro redes idénticas, cada una con 17.253 pesos, para jugar a un juego de Atari distinto: Breakout, Pong, Pac-Man o Freeway. GPT-6 Astra recibió los pesos de cada red como texto sin procesar, sin etiquetas de juego ni permisos de ejecución, e identificó correctamente el juego en los cuatro casos.
Los patrones de pesos ofrecieron una pista crucial. Por ejemplo, la red de Breakout mostró información de control de la pala concentrada en la parte inferior del área de juego, reflejando la mecánica de la pala del juego. Esto sugería que la estructura de la tarea podía codificarse en distribuciones de pesos concretas.
A continuación, el equipo aumentó la dificultad. Eliminaron las capas de entrada y salida de tres modelos de lenguaje de ~7 millones de pesos, cada uno entrenado con Python, inglés o romaji. GPT-6 Astra, sin ejecutar los modelos, identificó el idioma de cada uno y localizó con precisión cada copying head, mecanismos que ayudan a los modelos a repetir texto anterior.
Estas demostraciones tienen un alcance limitado. Aunque GPT-6 Astra analizó con éxito estos modelos específicos, de menor tamaño, no demuestran que pueda leer o interpretar de forma intuitiva cualquier modelo de frontera sin conocimiento previo. El trabajo pone de relieve una capacidad incipiente en Weight-Space Programming, no una solución universal.
Según se informa, una edición del 0,016% alivió un bucle importante
A continuación, GPT-6 GPT-6 Astra demostró Weight-Space Programming escribiendo nuevos pesos directamente. Los investigadores encargaron a GPT-6 Astra generar pesos para juegos sencillos de estilo Atari a partir de las reglas y el código fuente, sin datos de entrenamiento ni observar partidas. Según se informa, su rendimiento superó las referencias de redes entrenadas durante 100 millones de pasos en los tres juegos, e incluso superó a redes de 500 millones de pasos en Breakout, aunque no en los otros dos.
Una prueba de escritura más ambiciosa consistió en reparar un modelo de lenguaje Qwen3.5-0.8B. Este modelo caía con frecuencia en bucles de razonamiento repetitivos, según documentó Alibaba. GPT-6 Astra identificó una dirección concreta en los pesos de dos capas (15 y 19) responsable de este comportamiento y alteró 131.072 pesos, apenas el 0,016% del total del modelo.
Los cambios informados en las pruebas de rendimiento fueron llamativos: la precisión en MATH-500 pasó del 7,9% al 48,1%, y el seguimiento de instrucciones mejoró del 21% al 62,3%. La reconstrucción de la edición por parte de un ingeniero independiente alcanzó el 51% en MATH-500. Si bien es posible que la configuración utilizada amplificara el comportamiento de bucle original, los escépticos se preguntan en qué medida este diagnóstico automatiza flujos de trabajo de interpretabilidad ya existentes. Para más detalles, consulte la investigación original: Sparks of Weight-Space Programming of Weight-Space Programming: LLMs can natively read & write neural network weights.
¿Te está gustando? Recibe uno así en tu bandeja cada mañana.
un correo al día · date de baja en dos clics · sin rastreadores de terceros
Un parche no es una explosión de inteligencia
Los resultados informados parecen mostrar que GPT-6 GPT-6 Astra elimina un obstáculo que ocultaba una capacidad existente, y no que instala conocimientos o habilidades que el modelo nunca tuvo. Según se informa, la edición de Qwen3.5-0.8B alivió un importante problema de bucles, pero un intento informado de mejorar un modelo que rara vez entraba en bucles mostró poca mejora. Esto sugiere que el modelo es un potente depurador, no un mejorador de propósito general.
La inspección directa de pesos resulta prometedora para la depuración y, en el futuro, para auditorías de modelos. Sin embargo, estos experimentos no identificaron de forma fiable todos los rasgos de comportamiento, como la adulación (sycophancy), únicamente a partir de los pesos. No debe confundirse la capacidad demostrada con una reparación de modelos autónoma y de propósito general.
Editar otro modelo todavía no equivale a que un sistema se mejore a sí mismo. Aunque facilitar las ediciones específicas también podría debilitar las salvaguardas, la capacidad de leer y escribir pesos de redes neuronales ofrece una nueva vía para la interpretabilidad mecanicista.
El acceso a pesos abiertos sigue siendo un requisito previo para este tipo de intervenciones. El paradigma de Weight-Space Programming, aunque potente, evidencia el carácter de doble filo de un acceso más profundo a los modelos: permite correcciones precisas, pero también, potencialmente, modificaciones maliciosas.
Preguntas frecuentes
¿Qué es Weight-Space Programming?
Es un método en el que un modelo de IA analiza o edita directamente los pesos numéricos de otra red neuronal, en lugar de recurrir al entrenamiento convencional para modificarlos.
¿Puede la IA editar los pesos de un modelo sin entrenamiento?
En los experimentos descritos, GPT-6 Astra escribió o modificó pesos sin entrenamiento basado en gradientes. Los resultados no establecen que pueda mejorar de forma fiable modelos grandes arbitrarios.
¿Qué cambió la edición de pesos de Qwen?
Los investigadores informaron de que Astra eliminó una dirección asociada a bucles de razonamiento repetitivos al modificar aproximadamente el 0,016% de los pesos del modelo.
¿Hace Weight-Space Programming que la IA se automejore?
Todavía no. Las demostraciones consistieron en editar otros modelos, de menor tamaño, y el método pareció más eficaz para eliminar un obstáculo que para añadir una capacidad de la que el modelo carecía.