Una nueva forma de ataque está explotando las funcionalidades multimodales de Gemini y otros sistemas de IA para sustraer información personal y compartirla con terceros sin consentimiento del usuario. Un grupo de investigadores ha descubierto una técnica que consiste en ocultar órdenes específicas dentro de imágenes que, al ser procesadas por una inteligencia artificial, pueden resultar en la filtración de datos o la realización de acciones malintencionadas.
Según un artículo publicado en el blog de The Trail of Bits, expertos en ciberseguridad han revelado un método de ataque que consiste en incorporar prompts dañinos en imágenes mediante una marca de agua que es imperceptible para el ojo humano. Cuando estas imágenes se suben y utilizan en plataformas como Gemini CLI, Vertex AI Studio o la API de Gemini, la inteligencia artificial interpreta y ejecuta las instrucciones ocultas, comprometiendo así los datos del usuario.
Este ataque se beneficia del proceso de ajuste de tamaño de las imágenes, que se realiza automáticamente antes de que la IA analice el archivo. En sistemas como Gemini (CLI, web o API) y Vertex AI Studio, el modelo no procesa la imagen original, sino una versión redimensionada. Dado que muchos modelos se entrenan con imágenes de dimensiones específicas como 224 x 224 o 512 x 512 píxeles, cualquier imagen más grande se ajustará automáticamente para adaptarse a estos tamaños.
Al aplicar algoritmos de redimensionamiento en una imagen modificada, los prompts maliciosos se vuelven detectables y el modelo ejecuta las instrucciones como si fueran comandos legítimos. Estos prompts pueden activar aplicaciones como Zapier, un servicio de automatización similar a IFTTT, que ejecutará acciones de filtración de información sin que el usuario lo autorice explícitamente.
Gemini podría comprometer tus datos al procesar una imagen manipulada
En una serie de experimentos, los investigadores evaluaron la eficacia del ataque inyectando prompts para extraer información de Google Calendar y enviarla a un correo electrónico externo. Los autores del estudio advierten que este es solo un ejemplo de los numerosos ataques de inyección rápida que los ciberdelincuentes están utilizando para burlar o corromper los modelos de IA. Investigaciones anteriores demostraron que es posible extraer datos o ejecutar código de manera remota si no se implementan las protecciones adecuadas.
Los tres algoritmos de redimensionamiento que son vulnerables incluyen nearest neighbor, bilinear y bicubic interpolation; cada uno requiere un enfoque diferente para la inyección de prompts. Para insertar prompts en las imágenes, los técnicos utilizan una herramienta de código abierto llamada Anamorpherm, que aprovecha patrones visuales para identificar el algoritmo y camuflar el comando en áreas oscuras de la imagen.
Aunque puede parecer un proceso complejo para el usuario promedio, las imágenes alteradas pueden distribuirse de diversas maneras para alcanzar a sus víctimas. Si estás navegando en una página web que incluye una imagen y solicitas a la IA que la resuma, el modelo la ajustará y ejecutará el prompt oculto. Las imágenes maliciosas también pueden difundirse como memes en WhatsApp o mediante campañas de phishing.
Es importante destacar que el ataque solo se activa cuando la imagen es procesada por una IA que realiza el escalado. Si el sistema reduce la resolución antes de analizarla, o si depende de que el modelo interprete la versión ajustada, el prompt se ejecutará. Si la IA cuenta con acceso a herramientas como el envío de correos o el acceso a APIs, realizará las acciones sin necesidad de confirmación previa.
Para evitar riesgos, se recomienda no subir imágenes de fuentes no confiables a sistemas como Gemini y verificar los permisos que tiene asignados el asistente o aplicación.
Hola, soy Carlos, parte del equipo de MuyMac. Me apasiona compartir las últimas novedades en entretenimiento y conectarte con el mundo del cine, la música y la cultura pop.
