Así puedes evitar que OpenAI utilice el contenido de tu web
Ya podemos impedir que OpenAI utilice el contenido de nuestra web para entrenar a sus modelos de inteligencia artificial.
Lo puedes hacer bloqueando a su rastreador web GPTBot desde el archivo robots.txt.
El archivo robots.txt sirve como una guía para los robots de búsqueda web, indicándoles qué partes de un sitio web deben evitar.
Estos robots, a menudo llamados «exploradores web» o «arañas», navegan por la web para recopilar información y actualizar las bases de datos de los buscadores.
Este archivo se ubica en la base de un sitio web y da directrices sobre qué áreas del sitio son accesibles para estos exploradores.
Los detalles los ofrece la propia OpenAI en el apartado de documentación de su web.
Eso sí, esta acción tendría efecto a partir del momento en el que la implementes y no influirá en toda la información previa a la que pudo acceder OpenAI para desarrollar sus famosos modelos de IA.
Dos líneas en un archivo son suficientes para bloquear a OpenAI
La documentación ofrecida por OpenAI especifica qué debemos añadir al archivo robots.txt si queremos bloquear el acceso del bot o permitirle acceder solo a algunas partes de la web.
Para impedir el acceso completo, debemos añadir estas líneas:
Y para personalizar el acceso, permitiendo o impidiendo el rastreo en determinados directorios, puedes hacerlo así:
Por defecto, la araña de OpenAI no accederá a contenido protegido por muros de pago o que recojan información personal
Ojo! 👀 GPTBot es el nuevo crawler de OpenAI, con el cual navegará por la web en busca de nuevos datos para entrenar a sus modelos de IA.
— Juan González Villa (@seostratega) August 7, 2023
En principio evitará activamente webs con muros de pago y también las páginas donde detecte información personal. Pero si queremos bloquear… pic.twitter.com/Arijq9VdVG
La empresa encabezada por Sam Altman también informó que las páginas web rastreadas con GPTBot:
Se filtran para eliminar fuentes que requieran acceso a través de un muro de pago, que sean conocidas por recopilar información personal identificable (PII) o que contengan texto que viole nuestras políticas.
OpenAI, 2023
Esta nueva posibilidad sería uno de los primeros pasos que da OpenAI para permitir a los creadores impedir la utilización de su contenido para entrenar modelos de IA.
En la actualidad, OpenAI se enfrenta al escrutinio de varios organismos, entre ellos el Senado de EE.UU, por posibles violaciones a las normas de protección de datos y el consentimiento para el uso de los mismos.
