Forma más sencilla de cargar html correctamente desde la página web en una cadena en Java

Question

Justo lo que dice el título.

Ayuda ¡muy apreciado!

Answer 1

Un error extremadamente común es la falla al convertir correctamente una respuesta HTTP de bytes a caracteres. Para hacer esto, debes conocer la codificación de caracteres de la respuesta. Con suerte, esto se especifica como un parámetro en el parámetro "Content-Type". Pero ponerlo en el cuerpo mismo, como un atributo "http-equiv" en una etiqueta meta también es una opción.

Por lo tanto, es sorprendentemente complicado cargar una página en un String correctamente, e incluso las bibliotecas de terceros como HttpClient no ofrecen una solución general.

Aquí hay una aplicación sencilla que controlará el caso más común:

URL url = new URL("http://stackoverflow.com/questions/1381617"); 
URLConnection con = url.openConnection(); 
Pattern p = Pattern.compile("text/html;\\s+charset=([^\\s]+)\\s*"); 
Matcher m = p.matcher(con.getContentType()); 
/* If Content-Type doesn't match this pre-conception, choose default and 
* hope for the best. */ 
String charset = m.matches() ? m.group(1) : "ISO-8859-1"; 
Reader r = new InputStreamReader(con.getInputStream(), charset); 
StringBuilder buf = new StringBuilder(); 
while (true) { 
    int ch = r.read(); 
    if (ch < 0) 
    break; 
    buf.append((char) ch); 
} 
String str = buf.toString(); 

Answer 2

Yo uso este:

 BufferedReader bufferedReader = new BufferedReader( 
            new InputStreamReader( 
              new URL(urlToSeach) 
               .openConnection() 
               .getInputStream())); 

     StringBuilder sb = new StringBuilder(); 
     String line = null; 
     while((line = bufferedReader.readLine()) != null) { 
      sb.append(line) ; 
      sb.append("\n"); 
     } 
     .... in finally.... 
     buffer.close(); 

Es la mayor parte de las veces funciona.

Answer 3

todavía puede simplificar un poco el uso de org.apache.commons.io.IOUtils:

URL url = new URL("http://stackoverflow.com/questions/1381617"); 
URLConnection con = url.openConnection(); 
Pattern p = Pattern.compile("text/html;\\s+charset=([^\\s]+)\\s*"); 
Matcher m = p.matcher(con.getContentType()); 
/* If Content-Type doesn't match this pre-conception, choose default and 
* hope for the best. */ 
String charset = m.matches() ? m.group(1) : "ISO-8859-1"; 
String str = IOUtils.toString(con.getInputStream(), charset);