Raspando sitios web con Javascript habilitado?

Question

Estoy tratando de raspar y enviar información a sitios web que dependen en gran medida de Javascript para realizar la mayoría de sus acciones. El sitio web ni siquiera funciona cuando desactivo Javascript en mi navegador.

He buscado algunas soluciones en Google y SO y había alguien que me sugirió que debería realizar ingeniería inversa del Javascript, pero no tengo idea de cómo hacerlo.

Hasta ahora he estado usando Mechanize y funciona en sitios web que no requieren Javascript.

¿Hay alguna manera de acceder a los sitios web que usan Javascript usando urllib2 o algo similar? También estoy dispuesto a aprender Javascript, si eso es lo que se necesita.

Answer 1

Echa un vistazo crowbar. No he tenido ninguna experiencia con eso, pero tenía curiosidad acerca de la respuesta a su pregunta, así que comencé a buscar en Google. Me gustaría saber si esto funciona para ti.

http://grep.codeconsult.ch/2007/02/24/crowbar-scrape-javascript-generated-pages-via-gecko-and-rest/

Answer 2

Tal vez usted podría utilizar Selenium Webdriver, que tiene enlaces Python creo. Creo que se usa principalmente como una herramienta para probar sitios web, pero creo que también debería ser útil para analizar.

Answer 3

He tenido exactamente el mismo problema. No es simple en absoluto, pero finalmente encontré una gran solución, usando PyQt4.QtWebKit.

Encontrará las explicaciones sobre esta página web: http://blog.motane.lu/2009/07/07/downloading-a-pages-content-with-python-and-webkit/

Lo he probado, que actualmente lo uso, y eso es genial!

Su gran ventaja es que puede ejecutarse en un servidor, solo con X, sin un entorno gráfico.

Answer 4

En realidad, sugeriría usar Selenium. Está diseñado principalmente para probar aplicaciones web desde una "perspectiva del usuario", sin embargo, es básicamente un controlador "FireFox". Lo he usado para este propósito ... aunque estaba escaneando una página web dinámica de AJAX. Siempre y cuando el formulario de Javascript tiene un reconocible "Anchor Text" que el selenio puede "clic" todo debe ponerse en orden.

Espero que ayude

Answer 5

Usted debe mirar en el uso Ghost, una biblioteca de Python que envuelve el + WebKit truco PyQt4.

Esto hace g el cliente WebKit:

import ghost 
g = ghost.Ghost() 

Puede tomar una página con g.open(url) y luego g.content evaluará el documento en su estado actual.

Ghost tiene otras características interesantes, como la inyección de JS y algunos métodos de llenado de formularios, y puede pasar el documento resultante a BeautifulSoup y así sucesivamente: soup = bs4.BeautifulSoup(g.content).

Hasta ahora, Ghost es lo único que he encontrado que hace que este tipo de cosas sean fáciles en Python. La única limitación que me he encontrado es que no puedes crear fácilmente más de una instancia del objeto cliente, ghost.Ghost, pero podrías evitarlo.

Answer 6

escribí un pequeño tutorial sobre este tema, esto podría ayudar:

http://koaning.io/dynamic-scraping-with-python.html

Básicamente lo que se hace es que tiene la biblioteca de selenio pretender que es un navegador Firefox, el navegador va a esperar hasta que todos javascript se ha cargado antes de que continúe pasándole la cadena html. Una vez que tenga esta cadena, puede analizarla con beautifulsoup.