Ha siguientes dependencias: - Twisted 2.5.0, 8.0 o superiores - lxml o libxml2 (si se utiliza libxml2 versión 2.6.28 o superior es muy recomendable) - simplejson - pyOpenSSL¿Es compatible con scrapy en el motor de la aplicación google?
No es posible utilizar Extensiones C en App Engine, que descarta lxml y (creo) libxml2 y pyopenssl.
Dudo que la mayor parte de lo que Twisted hace sea posible en el entorno limitado de App Engine; no puede abrir directamente sockets o hilos de spawn.
EDITAR (enero de 2013): el tiempo de ejecución de Python 2.7 incluye algunas extensiones C, incluido lxml. Sin embargo, aún no es posible usar extensiones C que no son provistas por Google con el tiempo de ejecución; lo más probable es que la escrapia aún no se pueda usar en este momento.
No, pero podría intentar AWS (http://dev.scrapy.org/wiki/AmazonEC2)
Como alternativa, se puede probar el [API de extracción de URL] (http://code.google. com/appengine/docs/python/urlfetch /) y [BeautifulSoup] (http://www.crummy.com/software/BeautifulSoup/). –
En GAE puede importar bibliotecas preparadas lxml y pycrypto: https://developers.google.com/appengine/docs/python/tools/libraries27 – Kugel