¿Cómo recupero una URL de un sitio web usando Java?

Question

Quiero usar los comandos HTTP GET y POST para recuperar URL de un sitio web y analizar el HTML. ¿Cómo hago esto?

Answer 1

Puede usar HttpURLConnection en combinación con URL.

URL url = new URL("http://example.com"); 
HttpURLConnection connection = (HttpURLConnection)url.openConnection(); 
connection.setRequestMethod("GET"); 
connection.connect(); 

InputStream stream = connection.getInputStream(); 
// read the contents using an InputStreamReader 

Answer 2

Uso http://hc.apache.org/httpclient-3.x/

Answer 3

La forma más sencilla de hacer un GET es utilizar el construido en java.net.URL. Sin embargo, como se mencionó, httpclient es la forma correcta de hacerlo, ya que le permitirá, entre otros, gestionar los redireccionamientos.

Para analizar el html, puede usar html parser.

Answer 4

He usado JTidy en un proyecto y funcionó bastante bien. Una lista de otros analizadores es here, pero además de JTidy no conozco ninguno de ellos.

Answer 5

La respuesta ticked/approved para esto es de robhruska - gracias. Esto muestra la forma más básica de hacerlo, es simple con una comprensión de lo que es necesario para hacer una conexión de URL simple. Sin embargo, la estrategia a más largo plazo sería usar HTTP Client para obtener formas más avanzadas y completas de funciones para completar esta tarea.

Gracias a todos, aquí está la respuesta rápida otra vez:

URL url = new URL("http://example.com"); 
HttpURLConnection connection = (HttpURLConnection)url.openConnection(); 
connection.setRequestMethod("GET"); 
connection.connect(); 

InputStream stream = connection.getInputStream(); 
// read the contents using an InputStreamReader