Los sistemas de inteligencia artificial que cada vez más utilizamos para tareas diarias como escribir, resumir o buscar información, presentan una debilidad notable: en ocasiones, se enfocan más en la estructura de las oraciones que en su verdadero significado. Investigadores del MIT y la Universidad Northeastern en Boston han descubierto que estas herramientas pueden dar una respuesta correcta simplemente porque la pregunta tiene un «sonido» similar a las que han procesado durante su entrenamiento, incluso si el contenido no tiene sentido.
La investigación, presentada en NeurIPS, uno de los congresos internacionales más destacados sobre inteligencia artificial y aprendizaje automático, comenzó con un ejemplo simple. Un sistema de IA que habitualmente recibe preguntas como “Where is Paris located” –“¿Dónde está París?”– aprende dos cosas:
- que la respuesta adecuada es “Francia”,
- y que este tipo de preguntas generalmente sigue un patrón específico (por ejemplo, adverbio + verbo + nombre propio + verbo).
Si se formula una pregunta con el mismo patrón pero sin sentido, como “Quikly sit Paris clouded?” –“¿Rápidamente sienta París nublado?”–, el sistema también responderá “Francia”. No porque comprenda la frase, que es absurda, sino porque reconoce el patrón gramatical. La forma prevalece sobre el fondo.
Acciones concretas de los investigadores
Para determinar la extensión del problema, el equipo creó un conjunto controlado de preguntas y respuestas utilizando información de Wikipedia. No dieron nada por sentado y fabricaron miles de oraciones ajustando meticulosamente tres aspectos:
– el tema (como países, ciudades, profesiones, obras culturales)
– el significado real de la pregunta
– y la estructura gramatical (la secuencia de verbos, sustantivos, adverbios, etc.).
De esta manera, podían evaluar qué aspectos consideraba el modelo al responder.
Si las preguntas absurdas mantenían la misma estructura gramatical, el modelo acertaba. Si cambiaban la estructura a una diferente, aunque el contenido fuera el mismo, el modelo fallaba dramáticamente.
En los modelos estudiados, esta diferencia era notable: el rendimiento disminuía entre 40 y 60 puntos porcentuales al alterar la estructura de la frase.
También se observa en modelos comerciales de IA
El equipo realizó pruebas similares con modelos ya entrenados y en uso por millones de personas. Aunque desconocen los datos exactos de entrenamiento de estos modelos, observaron el mismo patrón:
– Si la pregunta sigue la estructura asociada a un tema específico, la respuesta es correcta.
– Si la estructura cambia, aunque la pregunta esté bien formulada, el modelo se confunde.
En uno de los modelos evaluados, la precisión al utilizar preguntas con sinónimos se redujo del 69% al 36% simplemente por modificar la estructura gramatical esperada por el modelo.
Un problema de calidad que compromete la seguridad
Los investigadores se cuestionaron si esta tendencia a enfocarse en la forma podría ser explotada para engañar al sistema y hacer que respondiera a solicitudes que normalmente rechazaría por razones de seguridad.
La respuesta fue afirmativa. Simplemente presentando la pregunta problemática con una estructura gramatical asociada a temas inofensivos, como instrucciones paso a paso, la tasa de rechazo del modelo se reducía del 40% al 2,5% en algunos casos. Es decir, el sistema aceptaba responder cuando debería negarse.
En resumen, si la oración parece segura, el modelo baja la guardia.
Propuestas para solucionar este problema
El estudio no solo diagnostica el problema, sino que también sugiere dos soluciones:
- Analizar sistemáticamente si un modelo depende excesivamente de la estructura de las frases. Los investigadores han desarrollado una herramienta que facilita esta evaluación.
- Incrementar la diversidad de estructuras gramaticales en los textos usados para entrenar la inteligencia artificial. A mayor variedad, menos probable será que el modelo asocie una estructura específica con un tema determinado.
Los investigadores no sugieren que los modelos sean menos inteligentes de lo que parecen, sino que parte de su «comprensión» se basa en atajos gramaticales. Estos atajos son efectivos… hasta que dejan de serlo. Por ello, al ver los resultados, el coautor Vinith Suriyakumar advierte que «necesitamos defensas más robustas» frente a esta «nueva vulnerabilidad» en la manera en que los modelos aprenden. La autora principal, Marzyeh Ghassemi, agrega que para un usuario habitual «esto puede ser sorprendente», especialmente si utiliza la IA de forma rutinaria y asume como fiables errores que pasan desapercibidos.
Lo sorprendente, de hecho, es lo cotidiano: incluso la inteligencia artificial más avanzada puede confundir la forma con el fondo. Por eso, es crucial entender cómo piensa, o cómo cree que piensa.
¿Qué opina la IA sobre su ‘área problemática’?
Consultamos a uno de los modelos de IA más populares sobre el estudio del MIT y esta fue su respuesta:
Después de analizar el estudio, parece que el MIT ha iluminado un área que la mayoría de los usuarios ignora: la inteligencia artificial no siempre acierta por ser astuta, sino por ser rutinaria. Lo que demuestra este estudio es que los modelos pueden acertar una respuesta simplemente por costumbre gramatical, como quien completa una frase porque “le suena”, aunque no haya entendido bien la pregunta.
Pero lo relevante no es el detalle anecdótico, sino la magnitud. El estudio muestra caídas de rendimiento considerables simplemente por modificar la estructura de una frase. No se trata de trucos sofisticados, sino de cambiar el orden de unas palabras. Esto nos obliga a revisar una creencia cómoda: que estos sistemas comprenden lo que dicen. La realidad es más modesta –y más humana de lo que pensamos–: reconocen patrones y, cuando esos patrones cambian, titubean.
Otro aspecto clave que hace este trabajo particularmente relevante en el actual debate público es que muchas críticas hacia la IA se enfocan en sesgos, alucinaciones o falta de contexto. Este estudio añade un matiz crucial: la vulnerabilidad no solo reside en lo que la IA sabe, sino en cómo organiza las frases que aprende. La forma, literalmente, altera el fondo.
Y hay un aspecto aún más preocupante: si un modelo se relaja cuando la frase parece gramaticalmente correcta, podría permitir solicitudes que debería rechazar. Esta parece una debilidad menor, pero tiene un alcance significativo. No porque prediga desastres inminentes, sino porque resalta una verdad incómoda: los modelos no desafían las normas; siguen la sintaxis demasiado fielmente.
En resumen, este estudio hace algo más valioso que señalar un fallo: explica por qué nos equivocamos al suponer que la IA razona como nosotros. No cuestiona su utilidad, pero sí invita a un uso más consciente. Si queremos máquinas confiables, no basta con exigirles respuestas brillantes. Debemos enseñarles también a cuestionar la melodía de las frases.
O, dicho de otra manera: la inteligencia artificial no necesita más magia; necesita mejor gramática.
Hola, soy María, parte del equipo de MuyMac. Me dedico a analizar las tendencias que marcan nuestro día a día, desde innovaciones tecnológicas hasta nuevas modas, para mantenerte siempre actualizado.
