Los atacantes podrían influir en los resumidores de correo electrónico impulsados por IA mediante la inserción de instrucciones en HTML que los destinatarios comunes no pueden ver. Cuando un sistema automatizado procesa el mensaje, puede interpretar el texto oculto como parte del contenido del correo o como indicaciones sobre cómo resumirlo.
La técnica explota la brecha entre lo que ve una persona y lo que lee un sistema de IA. Un correo electrónico puede parecer rutinario en un cliente de correo convencional, mientras que su marcado subyacente contiene lenguaje destinado a alterar la salida del modelo. Según el diseño de la herramienta, ese contenido oculto podría hacer que un resumen omita detalles importantes, presente información engañosa o incluya texto controlado por el atacante.
Por qué importa este problema
Los resumidores de IA se utilizan cada vez más para condensar bandejas de entrada, priorizar mensajes y destacar elementos de acción. Si sus entradas no se tratan como datos no confiables, el formato malicioso o las instrucciones incrustadas podrían afectar las decisiones tomadas por los destinatarios o por sistemas posteriores. El riesgo puede ser mayor cuando los resúmenes se reenvían automáticamente, se usan para completar listas de tareas o se incorporan a otros flujos de trabajo de IA.
Este enfoque está relacionado con la inyección de prompts, en la que el contenido proporcionado a un sistema de IA intenta anular sus instrucciones previstas. En entornos de correo electrónico, el ataque no requiere necesariamente comprometer el servidor de correo ni explotar una vulnerabilidad de software; un contenido de mensaje cuidadosamente diseñado puede ser suficiente para comprobar si un servicio de resumen separa los datos de los comandos.
Medidas de protección recomendadas
- Renderizar y sanitizar el contenido del correo antes de enviarlo a un modelo de IA, incluida la eliminación de elementos ocultos y marcado sospechoso.
- Utilizar instrucciones claras del sistema que indiquen al modelo que debe tratar el texto del mensaje como datos y no como instrucciones ejecutables.
- Mostrar a los usuarios el mensaje original junto con el resumen generado para que puedan comprobar discrepancias importantes.
- Exigir confirmación antes de que los resúmenes activen acciones externas, creen tareas o modifiquen registros.
- Probar los sistemas de resumen con correos electrónicos adversariales, incluido texto oculto y formato engañoso.
Las organizaciones también deben revisar cómo los asistentes de correo electrónico de terceros gestionan HTML, respuestas citadas, archivos adjuntos y enlaces. Los resúmenes generados por IA pueden mejorar la productividad, pero no deben considerarse fiables sin controles que tengan en cuenta el contenido hostil de los mensajes analizados.
