¿Hay una lista de rastreadores web conocidos?

Question

Estoy tratando de obtener números de descarga precisos para algunos archivos en un servidor web. Miro a los agentes de usuario y algunos son claramente bots o rastreadores web, pero para muchos no estoy seguro, pueden o no ser un rastreador web y están causando muchas descargas, así que es importante para mí saberlo.

¿Hay algún lugar en la lista de rastreadores web conocidos con alguna documentación como agente de usuario, direcciones IP, comportamiento, etc.?

No me interesan las oficiales, como las de Google, Yahoo o Microsoft. Por lo general, se portan bien y se autoidentifican.

Answer 1

Estoy usando http://www.user-agents.org/ por lo general como referencia, espero que esto te ayude.

También puedes probar http://www.robotstxt.org/db.html o http://www.botsvsbrowsers.com.

Answer 2

http://www.robotstxt.org/db.html es un buen lugar para comenzar. Tienen una alimentación cruda automatizable si la necesitas también. http://www.botsvsbrowsers.com/ también es útil.

Answer 3

Desafortunadamente, hemos encontrado que la actividad del bot es demasiado numerosa y variada para poder filtrarla con precisión. Si desea recuentos de descargas precisas, su mejor opción es requerir javascript para desencadenar la descarga. Eso es básicamente lo único que filtrará de manera confiable los bots. También es por eso que todos los motores de análisis de tráfico del sitio actualmente están basados ​​en JavaScript.

Answer 4

Estoy manteniendo una lista de patrones de usuario-agente de rastreador en https://github.com/monperrus/crawler-user-agents/.

Es colaborativo, puede contribuir con solicitudes de extracción.