screen-scraping

10El calor

2Respuesta

¿Qué API de búsqueda gratuitas/pagas permiten consultas programáticas y almacenamiento en caché/almacenamiento de los datos resultantes?

Si ha investigado seriamente las API de búsqueda, sabe que la mayoría de ellas tienen una gran cantidad de restricciones de TOS/TOU que las hacen casi imposibles de usar en cualquier cosa que no sean

api search screen-scraping data-mining 2011-08-31

---

8El calor

1Respuesta

Problemas con el raspado del sitio web usando zombie.js

Necesito hacer un poco de raspado web. Después de jugar con diferentes frameworks de pruebas web, de los cuales la mayoría eran demasiado lentos (Selenium) o demasiado caídos para mis necesidades (env

javascript facebook node.js screen-scraping zombie.js 2011-09-07

---

6El calor

1Respuesta

PHP DOMNode: cómo extraer no solo texto sino etiquetas HTML también

Estoy tratando de crear un script que raspe un sitio web para recuperar las últimas actualizaciones de noticias. Desafortunadamente me he encontrado con un pequeño problema que parece que no puedo sol

php dom screen-scraping 2011-06-07

---

7El calor

1Respuesta

¿Qué analizador HTML DOM funciona mejor en Android?

Necesito procesar algunas páginas HTML en mi aplicación de Android y preferiría usar XPath para extraer la información relevante. Para J2SE regulares hay una gran cantidad de posibles implementaciones

java android parsing dom screen-scraping 2011-09-25

---

5El calor

2Respuesta

Cómo raspar una gran cantidad de tweets

Estoy construyendo un proyecto en python que necesita raspar enormes y enormes cantidades de datos de Twitter. Algo así como 1 millón de usuarios y todos sus tweets deben ser eliminados. Anteriormente

python twitter screen-scraping 2011-09-25

---

14El calor

1Respuesta

Mantenimiento de cookies entre solicitudes de Mechanize

Estoy intentando usar la versión de Ruby de Mechanize para extraer las entradas de mi empleador de un sistema de gestión de tickets del que nos estamos alejando y que no proporciona una API. El proble

ruby screen-scraping mechanize 2011-08-12

---

9El calor

2Respuesta

Ruby alternative to Scrapy?

¿Cuáles son algunas herramientas basadas en Ruby que pueden ayudarme a lograr algo similar a lo que hace Scrapy para Python? http://doc.scrapy.org/intro/overview.html

python ruby screen-scraping scrapy 2011-05-06

---

6El calor

2Respuesta

Nokogiri a Split contenido en las etiquetas BR

tengo un fragmento de código que estoy tratando de analizar con nokogiri que tiene este aspecto: <td class="j"> <a title="title text1" href="http://link1.com">Link 1</a> (info1), Blah 1,<br>

ruby parsing xpath screen-scraping nokogiri 2011-08-14

---

5El calor

2Respuesta

Watir cambia las preferencias de Mozilla Firefox

Estoy ejecutando un script de Ruby usando Watir para automatizar algunas cosas para mí. Estoy intentando guardar automáticamente algunos archivos en cierto directorio. Entonces, en mi configuración de

ruby scripting automation screen-scraping watir 2011-07-03

---

5El calor

2Respuesta

Uso de Ruby con Mechanize para iniciar sesión en un sitio web

Necesito recopilar datos de un sitio, pero primero es necesario iniciar sesión. He estado utilizando hpricot para raspar con éxito otros sitios, pero soy nuevo en el uso de mecanizado, y estoy realmen

ruby login screen-scraping mechanize hpricot 2011-07-08

---