2010-12-07 20 views
11

Estoy buscando una biblioteca web bien pagada/gratuita con soporte .NET que tiene soporte decente para el procesamiento de JavaScript y ofrece muy buen rendimiento.Buena libre/pagada Web Scraping Library en C# .NET que maneja javascripts

Debe tener su propio motor de navegador y, con suerte, su propio compilador JS.

Si el producto ha sido desarrollado exclusivamente para raspado web, será una gran ventaja para nosotros.

He intentado con Watin y Selenium, pero ambos abren la ventana del navegador que no queremos. Quiero una aplicación silenciosa sin ventanas emergentes del navegador.

Necesito ayuda de expertos y sugerencias valiosas aquí.

+0

Me gustaría sugerir que el debate, los argumentos, las encuestas y el debate extenso son cosas maravillosas, y que el formato de preguntas y respuestas que SO brinda es una forma bastante buena de facilitarlos. Las respuestas de encuesta más populares y los argumentos con los mejores hechos, referencias y experiencia se votan con el tiempo. – Shavais

Respuesta

2

http://arachnode.net puede ayudar con esto.

Utiliza mshtml.dll que está un paso por debajo de AxShDocVw.dll, que activa el control WebBrowser.

Es aproximadamente 10 veces más rápido por subproceso (que con el control .NET) y se agota el proceso para que pueda descargar/procesar más de dos páginas a la vez.

+0

https://svn.arachnode.net/svn/arachnodenet/trunk/Renderer nombre de usuario/contraseña: Públicas/ Retire las referencias a arachnode.net y tendrás un analizador Javascript sin cabeza para el uso de HTML y más allá . Lanza un bool y tendrás una implementación de cabeza (¿más?). –