¿Cómo puedo analizar el contenido dinámico de una página web?

Question

trato de obtener una lista de proxy desde esta dirección:

Free proxy list

Esto estaría bien, pero el número de puerto es el contenido dinámico JavaScript. ¿Cómo puedo obtener contenido generado por JavaScript desde esta página? Tengo jsoup y djNativeSwing pero quiero hacer esto en el hilo de fondo.

JWebBrowser webBrowser = new JWebBrowser(); 
webBrowser.navigate("http://spys.ru/en/free-proxy-list/"); 
System.out.println(webBrowser.getHTMLContent()); 

este código arroja un resultado nulo. Ayuda por favor.

Answer 1

El navegador web no ha terminado de cargarse cuando llama al método getHtmlContent(). Usar algo como esto en su lugar:

JWebBrowser webBrowser = new JWebBrowser(); 
webBrowser.navigate("http://spys.ru/en/free-proxy-list/"); 
webBrowser.addWebBrowserListener(new WebBrowserListener(){ 
    public void loadingProgressChanged(WebBrowserEvent e){ 
     if(e.getWebBrowser().getLoadingProgress()==100) 
      System.out.println(webBrowser.getHTMLContent()); 
    } 
} 
/* Note: I wrote this in the comment field without any testing, 
    you probably have to make the webBrowser final. */ 

JavaDocs es su amigo!