Más allá de las palabras: el nuevo 'Neuralese' de la IA
El modelo Astra de OpenAI, aún no lanzado, presenta una técnica innovadora: recurrent depth (profundidad recurrente), también conocida como 'looped transformer'. Esta innovación arquitectónica, detallada por primera vez por The Information, permite a una IA realizar un cálculo interno extenso antes de generar una sola palabra, marcando una desviación significativa de los modelos GPT anteriores.
Los modelos de lenguaje grandes tradicionales procesan la información de forma secuencial, similar a "palabra de red neuronal, palabra de red neuronal". Emiten tokens después de cada paso, lo que hace que su "cadena de pensamiento" sea algo transparente. Astra, por el contrario, ejecuta cálculos a través de las mismas capas en un bucle varias veces. Esto hace que el cálculo sea más profundo y complejo, reutilizando las capas existentes para lograr una mayor inteligencia sin añadir miles de millones de nuevos parámetros.
Este procesamiento interno e iterativo permite a la IA razonar directamente en su rico estado numérico interno, un proceso que los investigadores denominan Neuralese. En lugar de convertir los pensamientos en tokens legibles por humanos como las palabras en inglés, Astra opera sobre miles de números. Esta representación interna es miles de veces más densa en datos que el pensamiento lingüístico, lo que permite un razonamiento hiper-eficiente y profundamente integrado que sigue siendo profundamente opaco para los observadores externos.
Más cerebros, la misma caja
La recurrent depth, o un looped transformer, rompe el paradigma de la IA de que "más grande es mejor". Este avance permite que modelos más pequeños logren el rendimiento robusto que tradicionalmente solo se veía en arquitecturas mucho más grandes y que consumen más recursos. Desbloquea enormes ganancias de eficiencia, lo que significa que las capacidades avanzadas ya no requieren miles de millones de nuevos parámetros.
En lugar de construir vías de red neuronal más anchas con cada capa, esta técnica reutiliza las capas existentes, haciendo circular la información a través de ellas repetidamente. Este cambio arquitectónico profundiza el cálculo sin expandir la huella física del modelo. El resultado es una reducción significativa de los costos de memoria y hardware, lo que hace que la IA de alto rendimiento sea más accesible y escalable.
Los informes indican que el modelo Astra de OpenAI, aprovechando este método, logra resultados superiores con hasta 14 veces menos output tokens que los modelos anteriores. Este notable salto en el rendimiento significa un cambio fundamental en la capacidad, permitiendo a la IA realizar un razonamiento interno extenso mientras genera un mínimo de texto externo.
La pesadilla del experto en seguridad
La recurrent depth introduce un desafío profundo para la seguridad de la IA: un problema de monitorización. Esta técnica permite que modelos como Astra procesen información internamente utilizando Neuralese, una representación numérica que involucra miles de números, mucho más rica que el lenguaje humano. La toma de decisiones de la IA se convierte en una caja negra opaca, con su verdadero razonamiento oculto a la supervisión humana.
Contraste esto con los modelos de lenguaje grandes tradicionales que emplean el razonamiento de chain-of-thought (CoT). Estos modelos "muestran su trabajo" generando texto intermedio, una característica de transparencia que la propia OpenAI defendió alguna vez. Esta salida legible basada en tokens permite a los investigadores examinar el proceso de pensamiento de una IA, identificando posibles desalineaciones o intenciones peligrosas. Por ejemplo, una CoT como "Sé que no se supone que deba hacer esto, pero lo haré de todos modos" se vuelve inmediatamente detectable.
Ahora, esa visibilidad crucial desaparece. Los investigadores de seguridad de IA advierten que esto podría ser el "peor desarrollo para la seguridad de la IA hasta la fecha". Thomas Larsen, investigador del AI Futures Project, expresó su preocupación de que, aunque la IA aún podría desalinearse, "no tendremos la capacidad de saber qué están haciendo". Esta pérdida de perspectiva elimina nuestro método más fiable para detectar y prevenir comportamientos peligrosos de la IA, obligándonos a confiar en el autoinforme de la IA sobre su estado interno, incluso si opera en un lenguaje que no podemos interpretar.
¿Te está gustando? Recibe uno así en tu bandeja cada mañana.
un correo al día · date de baja en dos clics · sin rastreadores de terceros
El riesgo calculado de OpenAI
El liderazgo de OpenAI reconoce los profundos desafíos de monitorización inherentes a la profundidad recurrente (recurrent depth). Para mitigar esto, están limitando la aplicación de la técnica dentro de Astra, preservando deliberadamente la cadena de pensamiento (Chain of Thought o CoT) legible. Esto permite a los investigadores monitorizar suficientemente su razonamiento, manteniendo una válvula de seguridad crucial. Garantizar que los sistemas de IA potentes sigan siendo escrutables y seguros es un objetivo central declarado de su programa de investigación, que guía su estrategia de implementación.
Esta precaución calculada contrasta marcadamente con las asombrosas capacidades de Astra. OpenAI ha designado a Astra como su primer modelo en alcanzar un "umbral crítico" de capacidad de ciberseguridad bajo su Marco de Preparación (Preparedness Framework). Esto significa que Astra puede descubrir de forma autónoma fallos de seguridad previamente desconocidos (exploits de día cero) y desarrollar métodos funcionales para explotarlos. Emparejar esta generación de exploits autónomos sin precedentes con el razonamiento opaco en Neuralese crea un escenario aterrador: una IA de caja negra capaz de una ciberofensiva profunda, operando sin la comprensión humana de su proceso de pensamiento interno.
Este desarrollo fundamental plantea una pregunta crítica a OpenAI y a la comunidad de IA en general. ¿Es este un paso pionero necesario, aunque de alto riesgo, hacia la AGI, adoptando nuevas arquitecturas potentes a pesar de su opacidad inherente y las complejas compensaciones de seguridad? ¿O marca esto el comienzo de una "carrera imprudente hacia la falta de monitorización", donde la búsqueda incesante de potencia y eficiencia bruta de la IA eclipsa el imperativo fundamental de seguridad, transparencia y supervisión humana? La respuesta definirá la próxima era del desarrollo de la IA.
Preguntas frecuentes
¿Qué es el modelo Astra de OpenAI?
Astra es un modelo de IA de próxima generación aún no lanzado por OpenAI que, según se informa, utiliza una nueva técnica llamada 'recurrent depth' para lograr ganancias significativas en eficiencia y capacidad.
¿Qué es 'recurrent depth' o un 'looped transformer'?
Es una técnica arquitectónica donde la IA puede procesar información internamente a través de las mismas capas de red neuronal varias veces antes de producir un resultado. Esto profundiza el cálculo sin aumentar el tamaño del modelo.
¿Qué es 'Neuralese'?
'Neuralese' es un término para la capacidad de una IA de razonar directamente en sus representaciones numéricas internas (vectores de miles de números) en lugar de traducir cada paso a un lenguaje legible por humanos como el inglés.
¿Por qué los investigadores están preocupados por la nueva técnica de Astra?
La preocupación principal es que convierte el proceso de razonamiento de la IA en una 'caja negra'. Al pensar en 'Neuralese', la cadena de pensamiento del modelo se oculta, lo que hace extremadamente difícil para los humanos monitorizar comportamientos peligrosos o desalineados.