Scraping sitios que requieren iniciar sesión con Python

Question

Uso varias redes publicitarias para mis sitios, y para ver cuánto dinero he hecho, necesito iniciar sesión en cada día para sumar los valores. Estaba pensando en hacer un script de Python que hiciera esto para que obtuviera un total rápido. Sé que necesito hacer una solicitud POST para iniciar sesión, luego almacenar las cookies que recibo y luego OBTENER la página de informe al pasar esas cookies.

¿Cuál es la forma más conveniente de replicar en Python lo que estoy haciendo cuando navego por los sitios manualmente?

Answer 1

A ver si este trabajo para usted:

http://stockrt.github.com/p/emulating-a-browser-in-python-with-mechanize/

Answer 2

cookielib hace la administración de cookies del lado del cliente, y mechanize mejora de varias maneras - incluyendo una forma de inicializar un tarro de galletas mediante la lectura de las cookies de una caché de Internet Explorer (por lo tanto, si puede iniciar sesión manualmente en cada sitio de Windows, puede utilizar cookielib o mecanizar para futuros inicios de sesión basados ​​exactamente en las mismas cookies, hasta que caduquen).

Answer 3

no es una solución de Python, pero considere usar una herramienta de automatización de navegador como Chickenfoot.