Empresa líder en IA enfrenta crisis: su sistema crea respuestas falsas durante soporte técnico.

Por

Desde hace tiempo, estamos familiarizados con el uso de tecnologías y herramientas que operan bajo inteligencia artificial generativa, y hemos notado que uno de sus principales inconvenientes es que estas pueden «alucinar». Esto significa que, ocasionalmente, la IA puede generar información falsa o ficticia presentándola como verdadera. Esto generalmente ocurre por falta de datos suficientes o una mala interpretación del contexto, aún así, proporciona una respuesta incorrecta con convicción.

Un incidente reciente con Cursor, un IDE (entorno de desarrollo integrado) conocido por incorporar capacidades de IA en la programación, ha resaltado nuevamente este problema con las alucinaciones de su IA.

Las ilusiones de la IA de Cursor y sus políticas ficticias

El conflicto comenzó con un fallo técnico que parecía simple. Varios usuarios de Cursor se encontraron desconectados automáticamente al intentar usar la plataforma desde distintos dispositivos. Al pasar de un ordenador de mesa a un portátil, por ejemplo, notaron que eran expulsados de la plataforma sin previo aviso o notificación alguna.

Varios desarrolladores afectados buscaron ayuda del soporte técnico para entender lo que ocurría. Según relató un usuario en Ycombinator, el supuesto equipo de soporte les informó que este era un «comportamiento esperado» bajo una nueva política de inicio de sesión en Cursor.

Leer  Meta etiquetará a empleados por debajo de las expectativas: ¿Qué significa esto en la oficina?

El verdadero problema es que tal política nunca existió, ni tampoco había un equipo humano de soporte detrás. Resulta que las respuestas eran generadas por un bot de IA diseñado para «emular respuestas humanas», el cual había inventado completamente esa explicación.

La falsa explicación dada por la IA se esparció rápidamente entre la comunidad de usuarios. Incluso, algunos desarrolladores, que necesitan trabajar en múltiples dispositivos, empezaron a cancelar sus suscripciones a la plataforma. Uno de los afectados destacó que la capacidad de trabajar en distintos aparatos es fundamental para cualquier desarrollador, y un cambio tan significativo en las políticas debería haber sido comunicado con antelación.

A medida que los usuarios discutían sus teorías y comenzaban a dudar de las explicaciones, el hilo principal en Reddit sobre el tema fue inicialmente bloqueado y luego eliminado, lo que incrementó la confusión y el descontento general.

Michael Truell, cofundador y CEO de Cursor, tuvo que hacer una declaración pública para esclarecer la situación. En un comentario en Ycombinator, declaró:

«Nos disculpamos, algo salió claramente mal. Ya estamos investigando. Cualquier respuesta de IA utilizada para soporte por correo ahora está claramente etiquetada como tal. Usamos respuestas asistidas por IA como un primer filtro para el soporte por correo».

Leer  Fiscal general elimina mensajes sin rastro: ni WhatsApp ni Google logran recuperarlos

En Reddit, Truell fue aún más claro sobre el incidente: «No existe tal política. Por supuesto que puedes usar Cursor en múltiples máquinas. Desafortunadamente, fue una respuesta incorrecta de un bot de soporte de primera línea con IA».

Truell explicó que el problema técnico que disparó toda esta situación fue una «condición de carrera» que ocurre en conexiones de internet muy lentas. Este fallo causaba la creación de múltiples sesiones innecesarias que acababan desplazando a las sesiones reales, causando las desconexiones. Truell aseguró que ya han implementado una solución.

Aunque puede ser entretenido ver a una IA «alucinar» en momentos en los que se experimenta sin un propósito concreto, cuando ocurre en sectores críticos puede provocar problemas serios. Afortunadamente, en este caso, la situación no pasó a mayores.

Imagen de portada | Christopher Gower

4.7/5 - (34 votos)

Deja un comentario

Partages