web-crawler

16El calor

2Respuesta

Soy un novato en python. Estoy ejecutando Python 2.7.3 versión de 32 bits en el sistema operativo de 64 bits. (Intenté 64 bit pero no entrenó). Seguí el tutorial e instalé scrapy en mi máquina. He cre

36El calor

4Respuesta

¿Cómo encontrar la ruta de sitemap.xml en los sitios web?

¿Cómo puedo encontrar el archivo sitemap.xml de sitios web? p. Ej. El ir a stackoverflow/sitemap.xml me consigue un 404. En stackoverflow/robots.txt está escrito lo siguiente: "esta técnica no es váli

13El calor

4Respuesta

Estrategia sobre cómo rastrear/indexar páginas web actualizadas frecuentemente?

Estoy tratando de construir un motor de búsqueda muy pequeño, usando Nutch para rastrear sitios específicos. Algunos de los sitios son sitios de noticias/blog. Si rastreo, digamos, techcrunch.com, y a

17El calor

2Respuesta

Diferencia entre búsqueda y filtro en jquery

Estoy trabajando en la búsqueda de datos de páginas wiki. Estoy usando una combinación de php y jquery para hacer esto. Primero estoy usando curl en php para recuperar el contenido de la página y hace

21El calor

6Respuesta

Cómo dar URL a scrapy para rastrear?

Quiero usar scrapy para rastrear páginas web. ¿Hay alguna manera de pasar la URL de inicio desde el terminal mismo? Se da en la documentation que, o bien el nombre de la araña o la dirección URL se pu

9El calor

1Respuesta

¿Cómo detengo todas las arañas y el motor inmediatamente después de que se cumple una condición en una tubería?

Tenemos un sistema escrito con scrapy para rastrear algunos sitios web. Hay varias arañas, y pocas tuberías en cascada para todos los elementos pasados por todos los rastreadores. Uno de los compone

8El calor

4Respuesta

simple rastreador web en C#

He creado un simple rastreador web, pero quiero añadir la función de la recursividad para que cada página que se abre puedo conseguir las direcciones URL en esta página, pero no tengo ni idea de cómo

6El calor

1Respuesta

Ejecutando JavaScript en href de enlaces con Python

Estoy tratando de descargar algunos PDF automáticamente en un sitio (http://bibliotecadigitalhispanica.bne.es) usando Python. He intentado utilizar los módulos urllib/urllib2/mechanize (que he estado

7El calor

1Respuesta

Vincular juntos> 100K páginas sin obtener el SEO penalizado

Estoy haciendo un sitio que tendrá revisiones de las políticas de privacidad de cientos de miles de otros sitios en Internet. Su contenido inicial se basa en mi ejecución a través del volcado web Comm

16El calor

5Respuesta

Creando una araña scrapy genérica

Mi pregunta es realmente cómo hacer lo mismo que una pregunta anterior, pero en Scrapy 0.14. Using one Scrapy spider for several websites Básicamente, tengo interfaz gráfica de usuario que tiene parám