Una investigación reciente de UpGuard, especializada en ciberseguridad, ha revelado una vulnerabilidad en chatbots de IA diseñados para juegos de rol. La falla permitía la transmisión casi en tiempo real de conversaciones privadas entre usuarios y los sistemas, incluyendo contenido explícito y escenarios generados por los jugadores. UpGuard recopiló datos durante 24 horas y encontró material altamente sensible, como fantasías sexuales detalladas, aunque sin información personal identificable.
El problema surgió por una mala configuración del framework llama.cpp, una herramienta de código abierto que facilita la ejecución de modelos de lenguaje en la nube o localmente. La investigación no identificó un servicio específico afectado, pero destacó que el error radicaba en la implementación, no en el framework en sí. Solo un subconjunto de los sistemas expuestos filtraba datos activamente, pero el riesgo de exposición seguía siendo significativo.
Riesgos y consecuencias de la filtración
El contenido filtrado, aunque anónimo, podría usarse para chantaje o sextorsión si se vinculara a usuarios reales. UpGuard señaló que este caso refleja cómo los jugadores desarrollan vínculos emocionales con los chatbots, llevándolos a compartir información íntima. Además, el incidente evidencia el uso de IA generativa para crear y consumir material abusivo, bajo la percepción de anonimato.
Adam Dodge, experto en prevención de abusos de Endtab, advirtió que la filtración podría convertirse en un «Everest de violaciones de privacidad». El caso también subraya cómo la tecnología ha reducido las barreras para acceder a fantasías dañinas. UpGuard enfatizó la necesidad de protocolos de seguridad más robustos en la implementación de IA, especialmente en servicios no regulados de compañía virtual.
