Buenos sitios web para probar webcrawler en

Question

Estoy probando un nuevo webcrawler y estoy buscando algunos buenos sitios web que puedan estropearlo (redireccionamientos, marcos, cualquier cosa). ¿Alguien sabe de algunos sitios realmente complicados, o que podrían estropearlo? Thx

Answer 1

Si lo pruebas en el top 1000 de Alexa o más, obtendrás una muestra bastante representativa de lo que sucede en los sitios web. Es posible que no tenga la oportunidad de probar algunos protocolos heredados (por ejemplo, marcos, etc.), pero obtendrá una muy buena idea del rendimiento, especialmente donde esto cuenta.