La empresa de servicios de computación en la nube Cloudflare, conocida por su CDN, ha lanzado una herramienta gratuita diseñada para impedir que los bots recopilen datos de sitios web alojados en su plataforma con fines de entrenamiento de modelos de inteligencia artificial.
Proveedores de inteligencia artificial como Google u OpenAI permiten a los administradores de sitios web bloquear sus bots de recolección de datos a través del archivo robots.txt, que indica a los bots qué páginas pueden acceder.
No obstante, Cloudflare ha destacado que no todos los bots de IA respetan esta configuración. «Los clientes no quieren que los bots de IA visiten sus sitios web, especialmente aquellos que lo hacen de manera deshonesta», señaló la empresa en su blog oficial. «Tememos que algunas compañías de IA, con la intención de eludir las reglas para acceder al contenido, se adapten persistentemente para evadir la detección de bots», recoge Techcrunch.
Para abordar este problema, Cloudflare ha analizado el tráfico de bots y rastreadores de IA para mejorar sus modelos de detección automática. Estos modelos consideran diversos factores, como si un bot de IA podría estar intentando evadir la detección al imitar la apariencia y el comportamiento de un usuario legítimo. «Cuando los actores malintencionados intentan rastrear sitios web a gran escala, generalmente utilizan herramientas y marcos que podemos identificar», explicó Cloudflare. «Basándonos en estas señales, nuestros modelos son capaces de identificar adecuadamente el tráfico de bots de IA evasivos».
