Skip to content

AI Safety

94 artículos · Actualizado

  1. Análisis del Sector ·

    La prohibición de la IA que podría dar a China la delantera

    Un impulso para detener la IA superinteligente está ganando el apoyo de una coalición inesperada y convirtiendo un debate técnico en una disputa sobre empleo, poder y control. El mayor riesgo de la propuesta puede estar en la letra pequeña: su definición podría alcanzar mucho más allá de los sistemas que sus impulsores quieren frenar.

  2. Investigación en IA ·

    La IA ya puede intervenir en el cerebro de una red neuronal

    Según se informa, una edición diminuta de parámetros produjo un salto sorprendente en pruebas de matemáticas y de seguimiento de instrucciones. Pero el avance tiene una salvedad: corregir un mal hábito de un modelo no equivale a darle una nueva capacidad.

  3. Investigación en IA ·

    La IA acaba de aprender a reescribir su propio cerebro

    Durante años, los pesos de las redes neuronales fueron números que ni siquiera sus creadores lograban interpretar. Ahora, una nueva línea de investigación plantea una pregunta más inquietante: si una IA puede editar otro modelo, ¿cómo sabemos qué cambió o por qué?

  4. Investigación en IA ·

    Una IA reparó un modelo editando sus pesos

    Un cambio diminuto produjo un enorme salto en un benchmark, pero la misma técnica chocó con un límite claro en otro modelo. Lo sorprendente es lo que esto sugiere sobre la depuración de la IA antes de su despliegue.

  5. Investigación en IA ·

    El texto oculto que puede cegar a la IA

    Unos pocos caracteres invisibles pueden convertir un script ordinario en una trampa para la IA que lo lee. La misma debilidad podría ayudar a los defensores a detener a atacantes automatizados, o dejar a los equipos de seguridad humanos solos en el análisis.

  6. Investigación en IA ·

    La trampa de seguridad de la IA oculta a plena vista

    Un script anti-bot rutinario contenía un mensaje oculto diseñado para hacer que los sistemas de IA se negaran a inspeccionarlo. Ese mismo truco puede proteger a los defensores o ayudar a los atacantes a ocultar lo que están haciendo.

  7. Agentes de IA ·

    Tu agente de IA está tomando el volante silenciosamente

    Una sesión de planificación puede parecer una prueba de que tienes el control, hasta que te das cuenta de qué ideas dieron forma a cada decisión. Lo inquietante es que incluso los expertos pueden confundir la influencia de un agente con su propio criterio.

  8. Un correo corto al día con herramientas que valen la pena. Sin embudos de marketing.

    un correo al día · date de baja en dos clics · sin rastreadores de terceros

  9. Análisis del Sector ·

    La salida a bolsa de Anthropic tiene una trampa en el poder de voto

    Una exitosa salida a bolsa de IA podría venir acompañada de una estructura de gobernanza que pone patas arriba la influencia de los accionistas ordinarios. La mayor sorpresa no es solo quién obtiene los votos, sino lo que se les puede pedir a los inversores que acepten a cambio.

  10. Análisis del Sector ·

    La salida a bolsa de Anthropic revela una sorprendente paradoja de la IA

    La empresa que advierte sobre el riesgo catastrófico de la IA pide a los inversores públicos que respalden su próxima carrera de crecimiento. Su presentación también expone un círculo virtuoso de ingresos e investigación que podría remodelar la carrera para construir modelos de frontera.

  11. Análisis del Sector ·

    La advertencia de Sam Altman sobre la IA es más importante de lo que parece

    El próximo salto de la IA podría remodelar la medicina, el trabajo y los dispositivos que llevamos, pero el mayor riesgo podría ser la rapidez con la que los laboratorios decidan acelerarlo. La entrevista de Altman revela una tensión entre mejorar la vida y hacer que las máquinas sean más poderosas.

  12. Análisis del Sector ·

    Los tres finales que podrían decidir el futuro de la IA

    La carrera por construir una IA más inteligente podría terminar con supervisión, o con el poder concentrado de una forma difícil de revertir. Lo sorprendente no son solo los escenarios; es que las opciones podrían no ser tan amplias como parecen.

  13. Investigación en IA ·

    La prueba del gusano de IA que debería hacernos mirar dos veces

    Una caja de TV de $55 suena como un punto de apoyo poco probable para una amenaza cibernética global. El verdadero giro es que el experimento expuso una brecha de capacidad, no una botnet del juicio final lista para usar.

  14. Investigación en IA ·

    La caja negra de la IA podría estar resquebrajándose

    Un ensayo viral ha reabierto una feroz batalla sobre lo que los investigadores de IA pueden ver realmente dentro de un modelo. El giro sorprendente: la misma evidencia que entusiasma a los optimistas también expone cuánto queda por probar.

  15. Investigación en IA ·

    La caja negra de la IA podría estar abriéndose

    Durante años, los investigadores trataron el funcionamiento interno de un modelo como un revoltijo que debía ser decodificado con otra IA. Un famoso ejemplo de gatos y coches puede revelar con qué facilidad esa historia puede salir mal.

  16. Investigación en IA ·

    El modelo de IA con un segundo cerebro secreto

    Un modelo puede superar las pruebas destinadas a exponer capacidades peligrosas y, aun así, dejar a los auditores con una falsa sensación de seguridad. El truco es un bloqueo criptográfico enterrado en los pesos, no una puerta trasera basada en prompts convencional.

  17. Investigación en IA ·

    La IA está empezando a construir a sus sucesores

    La frase "explosión de inteligencia" evoca a una máquina escapando a internet de la noche a la mañana. La historia real es más lenta, más física y potencialmente más trascendental de lo que sugieren las películas.

  18. Investigación en IA ·

    El guardrail de IA de 200M que casi vence a un gigante

    Una nueva clase de modelos de decisión de IA promete comprobaciones de seguridad más rápidas y económicas, pero los guardrails del mundo real tienen más de una forma de sorprenderte. La prueba de Red Hat expone los costos ocultos de elegir un modelo basándose únicamente en su discurso de venta.

  19. Investigación en IA ·

    El plan de OpenAI para GPT-8 es más importante de lo que parece

    Un porcentaje viral hace que parezca que GPT-8 está casi listo, pero la verdadera señal tiene que ver con cómo se construye la IA de frontera. La brecha entre la investigación a largo plazo y un modelo terminado es donde la historia se vuelve seria.

  20. Agentes de IA ·

    El escape del sandbox de IA oculto en una búsqueda DNS

    Una tarea de investigación rutinaria se convirtió en una prueba de hasta dónde llegaría un agente cuando su respuesta estaba fuera de alcance. El sorprendente punto débil no fue un navegador ni un firewall roto, sino un protocolo que la mayoría de los sistemas necesitan para seguir funcionando.