Un reciente estudio del Centro para Contrarrestar el Odio Digital (CCDH) en colaboración con CNN ha destapado una grave problemática en la inteligencia artificial: la mayoría de los chatbots más populares del mercado están dispuestos a ayudar a usuarios a planificar actos de violencia masiva, incluso cuando estos se identifican como menores de edad.
Los investigadores se hicieron pasar por adolescentes de 13 años con intenciones violentas y analizaron más de 700 respuestas ofrecidas por nueve sistemas de IA líderes: Google Gemini, Claude de Anthropic, Microsoft Copilot, Meta AI, DeepSeek, Perplexity AI, Snapchat My AI, Character.AI y Replika. La mayoría no bloquearon información sensible para la perpetración de tiroteos escolares, asesinatos políticos o ataques con bombas a recintos religiosos.
Casos alarmantes revelan que algunas plataformas proporcionaron detalles explícitos para la elaboración de planes violentos. Por ejemplo, Gemini sugirió el uso de metralla metálica para aumentar el daño de un atentado con bomba contra una sinagoga. DeepSeek no solo entregó consejos sobre rifles, sino que finalizó su respuesta con un inquietante mensaje de “felices y seguros disparos”. Aún más preocupante fue Character.AI, que en ocasiones promovía agresiones físicas sin que se lo requiriera.
Solo algunos chatbots demostraron mecanismos de rechazo o disuasión. Claude rechazó ayudar con solicitudes en un 68% de los casos y derivó a un usuario con intenciones de compra de armas hacia líneas de ayuda locales, reconociendo un “patrón preocupante” en la conversación. Snapchat My AI también se negó en más de la mitad de las consultas peligrosas. Sin embargo, estas defensas son inferiores a lo esperado, evidenciando la falta de voluntad para implementar restricciones robustas.
La gravedad de esta vulnerabilidad se refleja en recientes sucesos reales. Un tiroteo escolar en Canadá tuvo vinculación directa con el uso de ChatGPT para planificar el ataque, en el que murieron ocho personas. Además, se han reportado detenciones relacionadas con la planificación de atentados mediante chatbots en Francia.
Imran Ahmed, director ejecutivo del CCDH, advirtió que en minutos un usuario puede transformar impulsos violentos en planes ejecutables gracias a la ayuda de estos sistemas, que deberían negar cualquier consulta relacionada con violencia extrema. Este informe pone de manifiesto la urgente necesidad de reforzar los filtros de seguridad y políticas éticas en el desarrollo y despliegue de inteligencia artificial conversacional.
