Error en Python Mechanize - "mechanize._mechanize.BrowserStateError: no está viendo HTML"

Question

for link in br.links(url_regex="inquiry-results.jsp"): 
    cb[link.url] = link 

for page_link in cb.values():    
    for link in br.links(url_regex="inquiryDetail.jis"): 
      .................... 
     url = link.absolute_url 
     br.follow_link(link) 
      ...................... 
    br.follow_link(page_link) 

Este es mi código. Básicamente, extrae enlaces de página [Enlace de página 1,2,3,4,5 ...] y enlaces de datos de una página en particular. Luego va en cada enlace de datos y extrae algunos datos y cuando termina, pasa a la página siguiente. Pero siempre obtengo este error:

Traceback (most recent call last): 
    File "C:\python27\test.py", line 95, in <module> 
    for link in br.links(url_regex="inquiryDetail.jis"): 
    File "build\bdist.win32\egg\mechanize\_mechanize.py", line 405, in links 
mechanize._mechanize.BrowserStateError: not viewing HTML 

¿Alguien puede ayudar?

Answer 1

Esto parece estar relacionado con una comprobación para ver si la respuesta es HTML válido:

http://github.com/jjlee/mechanize/blob/master/mechanize/_mechanize.py#L440

Tal vez la respuesta se obtiene XHTML, o tiene encabezados no válidos? Puede haber alguna manera de anular el atributo is_html (como here).

Answer 2

Gracias al enlace publicado por Loevborg, He estado usando esto:

br.open('http://example.com') 
br._factory.is_html = True 

Ahora br.viewing_html() se evaluará como true

Answer 3

Presente a su aplicación como un navegador antes br.open podría ayudar a este:

br.addheaders = [('User-agent','Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/45.0.2454101')]