ai.robots.txt

ai.robots.txt

Esta es una lista abierta de rastreadores web asociados con empresas de inteligencia artificial y la capacitación de LLM para bloquearlos. Le animamos a contribuir e implementar esta lista en su propio sitio. Consulte información sobre los rastreadores enumerados y las preguntas frecuentes.

Varios de estos rastreadores provienen de Dark Visitantes y apreciamos el esfuerzo continuo que realizan para rastrearlos.

Si desea agregar información sobre un rastreador a la lista, realice una solicitud de extracción con el nombre del bot agregado a robots.txt , ai.txt y cualquier detalle relevante en table-of-bot-metrics.md para ayudar. la gente entiende lo que se arrastra.

Contribuyendo

Una nota sobre la contribución: se deben agregar/realizar actualizaciones en robots.json . Una acción de GitHub, cortesía de Adam, generará el robots.txt y table-of-bot-metrics.md actualizados.

Suscríbete a las actualizaciones

Puede suscribirse a las actualizaciones de la lista a través de RSS/Atom con el feed de lanzamientos:

 https://github.com/ai-robots-txt/ai.robots.txt/releases.atom

Puedes suscribirte con Feedly, Inoreader, The Old Reader, Feedbin o cualquier otra aplicación de lectura.

Alternativamente, también puedes suscribirte a nuevas versiones con tu cuenta de GitHub haciendo clic en el botón "Ver" en la parte superior de esta página, haciendo clic en "Personalizado" y seleccionando "Versiones".

Informar sobre rastreadores abusivos

Si utiliza el bloqueo duro de Cloudflare junto con esta lista, puede denunciar rastreadores abusivos que no respetan robots.txt aquí.

Recursos adicionales

• Bloqueo de bots con Nginx por Robb Knight
• Bloqueando robots. por Ethan Marcotte
• Bloqueo de bots con 11ty y Apache por fLaMEd fury
• Bloqueando bots en Netlify por Jeremia Kimelman
• Bloqueo de rastreadores web de IA por Glyn Normington
• Bloquee los robots de IA para que no rastreen sitios web utilizando Robots.txt por Jonathan Gillham, Originality.AI