El argumento gira en torno a una palabra escurridiza
El debate sobre la capacidad de entendimiento de la IA depende de una sola palabra ambigua. El 15 de octubre, Gregory Kurtzer, cofundador de CentOS y Rocky Linux, declaró en Twitter que los LLMs son “modelos estadísticos que escupen tokens... no un entendimiento del tema”. David Shapiro replicó que las capacidades demostrables de los LLMs sí constituyen entendimiento.
Las impresionantes credenciales de Kurtzer, que incluyen años desarrollando software de computación de alto rendimiento en el Lawrence Berkeley National Laboratory, subrayan la naturaleza sustancial de esta disputa. La ambigüedad central reside en el propio “entendimiento”: puede referirse a una experiencia privada y consciente o a una capacidad demostrable para interpretar, explicar y usar información. Estas definiciones responden a preguntas fundamentalmente diferentes.
Este artículo adopta un enfoque comprobable, evaluando la competencia funcional a través del comportamiento observable. Examinaremos lo que los modelos de IA pueden hacer, en lugar de especular sobre sus estados internos. La conciencia y la experiencia subjetiva siguen siendo preguntas separadas y no resueltas, distintas de la evaluación objetiva del entendimiento.
Poner a la IA en la escalera de seis peldaños de Bloom
¿Cómo medimos objetivamente el “entendimiento”? Los educadores han refinado esta pregunta durante décadas. La Taxonomía revisada de Bloom ofrece una escalera de seis peldaños, definiendo el entendimiento a través de acciones observables: interpretar, resumir, inferir, comparar y explicar, no un vago estado interno. Sus peldaños ascienden desde recordar, entender y aplicar, hasta analizar, evaluar y crear.
Los modelos de IA ahora demuestran capacidades en estos peldaños. Para “recordar”, los modelos de vanguardia que enfrentan el Humanity’s Last Exam (un benchmark de 2,500 preguntas) han mejorado de menos del 10% a aproximadamente el 61% en pruebas independientes. Para “entender”, los estudiantes de física de Harvard tutorizados por IA aprendieron más del doble que aquellos en clases de aprendizaje activo, mientras que incluso Gregory Kurtzer admite que los LLMs pueden “explicar conceptos difíciles”.
Subiendo en la escalera, para “aplicar”, un sistema de IA de Google DeepMind logró una puntuación de medalla de oro de 35 sobre 42 en la International Mathematical Olympiad, con sus soluciones calificadas por los coordinadores de la Olimpiada. Para “analizar”, los sistemas de IA en el AI Cyber Challenge de DARPA encontraron 54 de 63 vulnerabilidades de software plantadas, además de 18 no plantadas.
Los peldaños superiores también muestran progreso. Para “evaluar”, la calificación de GPT-4 se alineó con evaluadores humanos expertos más del 80% de las veces. Para “crear”, los sistemas de investigación de IA han generado algoritmos matemáticos novedosos, demostrando capacidades que cumplen con las definiciones de nivel más alto de Bloom. Estos benchmarks demuestran habilidades específicas, no un entendimiento universal o equivalente al humano.
Por qué “solo predecir tokens” no resuelve el asunto
Describir a los modelos de lenguaje grandes (LLMs) simplemente como “predicción de tokens” explica cómo operan, pero no define sus capacidades. Un mecanismo no limita inherentemente la función; el cerebro, después de todo, es solo disparo de neuronas, y aun así logra un entendimiento profundo. Esta distinción es crucial para evaluar las verdaderas capacidades de la IA.
Considere la Ashby’s Law of Requisite Variety, que establece que un controlador eficaz debe poseer al menos tanta variedad como el sistema que regula. El teorema de Conant–Ashby postula además que "Todo buen regulador de un sistema debe ser un modelo de ese sistema". Esto significa que una regulación exitosa implica el desarrollo de un modelo interno suficientemente similar, ya sea explícito o emergente. Los agentes de IA que se adaptan a situaciones y objetivos novedosos a menudo demuestran este modelado interno.
La evidencia de tales modelos aprendidos es convincente. Un modelo de Othello, entrenado únicamente con movimientos de juego, desarrolló una representación interna del tablero; manipular esta imagen interna alteró directamente el juego del modelo. De manera similar, un modelo de IA dobló ropa con éxito utilizando brazos robóticos industriales desconocidos, desempeñándose tan bien como operadores humanos expertos que utilizaban el mismo equipo por primera vez. Estos ejemplos respaldan la existencia de functional modeling, lo que indica que la IA construye representaciones internas de su entorno, incluso si no "piensa" como una persona. Para profundizar en los marcos educativos, explore Bloom’s Taxonomy - Vanderbilt University Center for Teaching.
¿Te está gustando? Recibe uno así en tu bandeja cada mañana.
un correo al día · date de baja en dos clics · sin rastreadores de terceros
Mantenga la conciencia separada, y la responsabilidad cerca
Inferir la experiencia interna a partir del comportamiento externo presenta un desafío filosófico clásico, ejemplificado por el experimento mental de la Habitación China. Las pruebas funcionales, sin embargo, establecen una competencia útil sin resolver la cuestión metafísica de la conciencia. Podemos evaluar lo que hace un sistema sin saber lo que siente.
La confianza subjetiva también resulta ser un punto de referencia poco fiable. Las personas a menudo sobreestiman su comprensión de mecanismos familiares, lo que conduce a errores. De manera similar, los sistemas de IA pueden producir respuestas incorrectas con confianza, lo que demuestra que la certeza interna no equivale a la precisión objetiva.
La comprensión de la IA, aunque impresionante, sigue siendo desigual y frágil en ciertos contextos. Esta capacidad funcional no es evidencia de conciencia. Independientemente de las capacidades en evolución de la IA, los humanos y las organizaciones mantienen la plena responsabilidad de los sistemas que implementan, las decisiones que informan y cualquier daño resultante.
Preguntas frecuentes
¿La IA realmente entiende algo?
Depende de la definición. Mediante medidas observables como explicar, aplicar y analizar, la IA puede demostrar una comprensión funcional, aunque su rendimiento es desigual.
¿Significa la comprensión funcional que la IA es consciente?
No. Demostrar capacidades útiles no establece que un sistema tenga experiencia subjetiva o conciencia.
¿Cómo puede la Bloom’s Taxonomy ayudar a evaluar la IA?
Ofrece tareas cognitivas observables, desde recordar y explicar hasta evaluar y crear, que pueden utilizarse para evaluar el rendimiento.
¿Por qué es importante la Ashby’s Law para el debate sobre la IA?
Sugiere que un regulador eficaz necesita un modelo del sistema que controla, conectando la adaptación exitosa con el modelado predictivo.