rastrear página web dinámica usando htmlunit

Question

Estoy rastreando datos usando HtmlUnit desde una página web dinámica, que utiliza desplazamiento infinito para buscar datos dinámicamente, al igual que el suministro de noticias de Facebook. He utilizado la siguiente frase para simular el desplazamiento hacia abajo de evento:

webclient.setJavaScriptEnabled(true); 
webclient.setAjaxController(new NicelyResynchronizingAjaxController()); 
ScriptResult sr=myHtmlPage.executeJavaScript("window.scrollBy(0,600)"); 
webclient.waitForBackgroundJavaScript(10000); 
myHtmlPage=(HtmlPage)sr.getNewPage(); 

Pero parece myHtmlPage sigue siendo el mismo con el anterior, es decir, los nuevos datos no se adjunta en myHtmlPage, como resultado sólo puedo rastrear la primera pocos datos en la página web. ¡Gracias por tu ayuda!

Answer 1

Estaba buscando lo mismo. Solo pude encontrar que no es un evento de desplazamiento (90% de seguridad). Hay link en JS que es responsable de cargar la página y quizás pueda ayudarlo.

Answer 2

Tuve un problema similar cuando el contenido se cargaba durante el desplazamiento de la página. Lo resuelto usando:

webClient.getCurrentWindow().setInnerHeight(Integer.MAX_VALUE);