¿Cómo obtengo el mecanismo de Python para PUBLICAR una solicitud de AJAX?

Question

El sitio que estoy tratando de araña es el uso de la javascript:

request.open("POST", url, true); 

para tirar en la información extra sobre ajax que necesito a la araña. He intentado varias permutaciones de:

r = mechanize.urlopen("https://site.tld/dir/" + url, urllib.urlencode({'none' : 'none'})) 

para obtener Mechanize para obtener la página, pero siempre resulta en conseguirme el código HTML de inicio de sesión de nuevo, lo que indica que algo está mal. Parece que Firefox no agrega ningún dato HTTP al POST de acuerdo con Firebug, y estoy agregando un campo vacío para intentar forzar al urlopen a usar "POST" en lugar de "GET" esperando que el sitio ignore el campo. Pensé que los permisos de instalación de Mechanize incluyen cookies. Pero al ser HTTPS es difícil wirehark la transacción para depurar.

¿Hay una manera mejor?

También parece que no hay documentación API decente para Mechanize, solo ejemplos. Esto es molesto

Answer 1

Esto fue lo que ocurrió:

req = mechanize.Request("https://www.site.com/path/" + url, " ") 
req.add_header("User-Agent", "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.2.7) Gecko/20100713 Firefox/3.6.7") 
req.add_header("Referer", "https://www.site.com/path") 
cj.add_cookie_header(req) 
res = mechanize.urlopen(req) 

Cuál es interesante es la "" en la llamada a mechanize.Request fuerzas en "modo POST". Obviamente, el sitio no se ahogó en un solo espacio :)

Necesitaba las cookies también. Depuré los encabezados usando:

hh = mechanize.HTTPHandler() 
hsh = mechanize.HTTPSHandler() 
hh.set_http_debuglevel(1) 
hsh.set_http_debuglevel(1) 
opener = mechanize.build_opener(hh, hsh) 
logger = logging.getLogger() 
logger.addHandler(logging.StreamHandler(sys.stdout)) 
logger.setLevel(logging.NOTSET) 
mechanize.install_opener(opener) 

Contra lo que Firebug estaba mostrando.