Solo quiero el contenido de texto de la página y quiero que la búsqueda sea lo más ligera posible. ¿Puedo desactivar todo el análisis y la carga adicional de JavaScript, CSS y otro contenido externo que HTMLUnit hace de la caja?¿Cómo obtener el HTML bruto puro de una página en HTMLUnit mientras se ignoran JavaScript y CSS?
creo que lo más parecido a lo que estás buscando es:
WebClient webClient = new WebClient();
webClient.setCssEnabled(false);
webClient.setAppletEnabled(false);
webClient.setJavaScriptEnabled(false);
Para HtmlUnit 2.13 y arriba, el uso webclient.getOptions().
También esto question y la respuesta podría ser útil también. Lo que hizo las cosas más rápido para mí, pero tenía que volver a compilar HtmlUnit ...
Por último, con el fin de obtener el contenido original de la página (en lugar de la salida de asXml()) intente lo siguiente:
WebClient webClient = new WebClient();
HtmlPage page = webClient.getPage("http://www.yourpage.com");
String originalHtml = page.getWebResponse().getContentAsString();
Gracias por su respuesta. ¿Cuál sería la diferencia entre 'asXML()' y 'page.getWebResponse(). GetContentAsString()'? – Thomas
'asXML()' formateará el código (por ejemplo, agregue espacios siempre que se abra una etiqueta html) mientras 'getContentAsString()' le mostrará el código html exactamente como lo devuelve el servidor web –
Al iniciar HTMLUnit 2.13, use webClient.getOptions() para invocar estos métodos de "habilitar". – Paddy