¿Hay algún lenguaje que sea simplemente "perfecto" para raspar web?

Question

He usado 3 idiomas para Web Scraping - Ruby, PHP y Python y, sinceramente, ninguno de ellos parece perfecto para la tarea.

Ruby tiene una excelente biblioteca de análisis de mecanizado y XML, pero el soporte de la hoja de cálculo es muy pobre.

PHP tiene una excelente hoja de cálculo y una biblioteca de análisis HTML, pero no tiene un equivalente de WWW: Mechanize.

Python tiene una biblioteca Mechanize muy pobre. Tuve muchos problemas y todavía no puedo resolverlos. Su biblioteca de hojas de cálculo también es más o menos decente ya que no puede crear archivos XLSX.

¿Hay algo que sea perfecto para webscraping.

PD: Estoy trabajando en la plataforma de Windows.

Answer 1

Comprobar Python + Scrappy, es bastante bueno:

http://scrapy.org/

Answer 2

Por qué no utilizar el formato XML Spreadsheet? Es súper simple de crear, y probablemente sería trivial con cualquier tipo de sistema basado en clases.

Además, para Python, ¿ha intentado BeautifulSoup para analizar? Urllib + BeautifulSoup es un combo bastante poderoso.

Answer 3

Python + Beautiful Soup para raspar web y como está en Windows, puede usar win32com para la automatización de Excel para generar sus archivos xlsx.

Answer 4

La respuesta corta es no.

El problema es que HTML es una gran familia de formatos, y solo las variantes más recientes son consistentes (y basadas en XML). Si va a utilizar PHP, le recomendaría usar el analizador DOM ya que puede manejar una gran cantidad de html que no califica como XML bien formado.

Leyendo entre las líneas de su mensaje - que parecen ser:

1) la captura del contenido de la web con el requisito de gestión compleja interacción

2) analizar los datos en un formato legible por máquina consistente

3) escribir los datos en una hoja de cálculo

que es ciertamente 3 problemas separados - si no hay un idioma cumple con los 3 requisitos, entonces por qué no utilizar la mejor herramienta para el trabajo y solo se preocupan abo ¿Es un formato/medio provisional adecuado para los datos?

C.