cómo rastrean los rastreadores web javascript

Hoy se genera mucho contenido en Internet mediante JavaScript (específicamente por llamadas AJAX de fondo). Me preguntaba cómo los rastreadores web como Google los manejan. ¿Están al tanto de JavaScript? ¿Tienen un motor de JavaScript integrado? O simplemente ignoran todo el contenido generado por JavaScript en la página (supongo que es bastante improbable). ¿Las personas usan técnicas específicas para obtener su contenido indexado que de otro modo estaría disponible a través de solicitudes AJAX de fondo a un usuario normal de Internet?cómo rastrean los rastreadores web javascript

Fuente

2009-11-23 Shailesh Kumar

http://stackoverflow.com/questions/1739898/html-how-to-get- my-subpages-listed-on-a-google-search Consulte las respuestas aquí para "obtener contenido indexado" –

JavaScript es manejado por los rastreadores de Bing y Google. Yahoo usa los datos del rastreador Bing, por lo que también debe manejarse. No busqué en otros buscadores, así que si te importan, debes buscarlos.

Bing published guidance in March 2014 cuanto a cómo crear sitios web basadas en JavaScript que trabajan con su rastreador (en su mayoría relacionados con pushState) que son buenas prácticas en general:

Evitar la creación de enlaces rotos con pushState
Evitar la creación de dos diferentes enlaces que enlazan al mismo contenido con pushState
Evitar cloaking. (Here's an article Bing published about their cloaking detection in 2007)
Admite navegadores (y rastreadores) que no pueden controlar pushState.

Google later published guidance in May 2014 en cuanto a cómo crear páginas web basadas en JavaScript que trabajan con su rastreador, y también se recomiendan sus recomendaciones:

No bloquee el código JavaScript (y CSS) en el archivo robots.txt archivo.
Asegúrate de que puedes manejar la carga de los rastreadores.
Es una buena idea para soportar los navegadores y los rastreadores que no pueden manejar (o usuarios y las organizaciones que no permiten JavaScript)
JavaScript Tricky que se basa en características arcanos o específicos de la lengua podría no funcionar con los rastreadores .
Si su JavaScript elimina el contenido de la página, es posible que no se indexe. alrededor.

Fuente

2009-11-23 18:40:34 McKay

¿El futuro parece que los rastreadores web serán más inteligentes y se enfocarán más en AJAX? –

@Shailesh - Diré a eso definitivamente tal vez. Hablan un poco sobre los desafíos de rastrear JavaScript o los sitios compatibles con AJAX aquí: http://searchengineland.com/google-io-new-advances-in-the-searchability-of-javascript-and-flash-but- is-it-enough-19881 –

Esta respuesta está desactualizada. Googlebot definitivamente maneja JavaScript ahora: http://googlewebmastercentral.blogspot.com/2014/05/understanding-web-pages-better.html No estoy seguro acerca de otros rastreadores, pero creo que es probable que sigan su ejemplo pronto, si ellos no lo han hecho ya – Ajedi32

La mayoría de ellos no manejan Javascript de ninguna manera. (Al menos, no todos los rastreadores de los principales motores de búsqueda).

Por esta razón, es importante que su sitio gestione la navegación sin Javascript.

Fuente

2009-11-23 18:37:20

Desafortunadamente, el Google-bot definitivamente se arrastra dentro de JavaScript ... [link] (http: // stackoverflow .com/questions/5749348/jquery-causing-404-errors-in-webmaster-tools-on-a-directory) – Sparky

¿Simplemente no manejan el javascript o ven el sitio web con las etiquetas

cómo rastrean los rastreadores web javascript

Respuesta