2012-07-06 19 views
7

Tenía varias arañas en mi carpeta de proyecto y quería ejecutar todas las arañas a la vez, así que decidí ejecutarlas utilizando el servicio scrapyd. he comenzado a hacerlo al ver hereerror al implementar un proyecto utilizando scrapyd

En primer lugar estoy en la carpeta del proyecto actual

  1. que había abierto el archivo scrapy.cfg y descomentado la línea url después

    [desplegar]

  2. He ejecutado el comando scrapy server, que funciona bien y el servidor scrapyd ejecuta

  3. yo probamos este comando scrapy deploy -l

    Resultado: default http://localhost:6800/

  4. cuando he intentado este comando scrapy deploy -L scrapyd que me dieron siguiente salida

Resultado:

Usage 
===== 
    scrapy deploy [options] [ [target] | -l | -L <target> ] 

deploy: error: Unknown target: scrapyd 

cuando traté de implementar el proyecto con este comando scrapy deploy scrapyd -p default obtuvo el siguiente error

Usage 
===== 
    scrapy deploy [options] [ [target] | -l | -L <target> ] 

deploy: error: Unknown target: scrapyd 

estoy realmente incapaz de identificar scrapyd suero de leche está mostrando los errores anteriores, me puede dar lugar a una forma correcta de cómo implementar un proyecto en el que scrapyd

Gracias de antemano ..... .....

código editado:

Después de ver la respuesta de Peter Kirby, i nombrado objetivo en scrapy.cfg y trató el siguiente comando en mi carpeta del proyecto,

comando:

scrapy deploy ebsite -p ebsite 

me dieron entonces el siguiente error

Building egg of ebsite-1341808241 
'build/lib' does not exist -- can't clean it 
'build/bdist.linux-x86_64' does not exist -- can't clean it 
'build/scripts-2.7' does not exist -- can't clean it 
zip_safe flag not set; analyzing archive contents... 
Deploying ebsite-1341808241 to http://localhost:6800/addversion.json 
Deploy failed: <urlopen error [Errno 111] Connection refused> 

¿Cómo resolver esto .....

Respuesta

10

De la documentación de servicio scrapyd: (http://scrapy.readthedocs.org/en/latest/topics/scrapyd.html?highlight=scrapyd)

Puede definir objetivos mediante su inclusión en el proyecto de archivo scrapy.cfg ...Aquí está un ejemplo de definición de un nuevo objetivo con scrapyd2 acceso restringido a través de la autenticación básica HTTP:

[deploy:scrapyd2] 
url = http://scrapyd.mydomain.com/api/scrapyd/ 
username = john 
password = secret 

Básicamente, lo que significa que su error es que el nombre de "objetivo" no es correcto. Si recuerdo correctamente, el archivo scrapy.cfg establece el nombre de destino inicial como "predeterminado". Lo que debe escribir es algo así como:

scrapy deploy default -p project_name 
+0

Gracias por ur respuesta, como se dijo u i editado mi código como el anterior y recibí el error mencionado anteriormente, ¿puede decirme cómo resolverlo? –

+0

Intente acceder a la interfaz web de Scrapyd. Vaya a http: // localhost: 6800 o escriba curl http: // localhost: 6800/listprojects.json y dígame qué sucede. Es posible que Scrapyd esté instalado incorrectamente. ¿En qué SO estás? –

1

tipo justo scrapy deploy si no tiene objetivos mencionados ya la izquierda ajustes por defecto!

0

Este es el proceso de scrapyd no tiene permiso! Es necesario matar al proc, a continuación, utilizar el usuario root, teclee:

scrapy server 

entonces el nuevo scrapyd se run.then que puede hacer como scrapyd documention dice.

0

Tengo este error cuando intento de desplegar mi proyecto sin la scrapyd en marcha, tan simple ejecución

scrapyd 

en otro terminal fijo el error

Cuestiones relacionadas