Cómo acceder mediante programación a la página web en Java

Question

Hay una página web desde la que quiero recuperar una determinada cadena. Para hacerlo, necesito iniciar sesión, hacer clic en algunos botones, completar un cuadro de texto, hacer clic en otro botón, y luego aparece la cadena.

¿Cómo puedo escribir un programa java para hacerlo automáticamente? ¿Hay alguna biblioteca útil para ese propósito?

Gracias

Answer 1

Trate HtmlUnit

HtmlUnit es un "navegador GUI-Menos de programas Java". Modela documentos HTML y proporciona una API que le permite invocar páginas, completar formularios , hacer clic en enlaces, etc ... al igual que que hace en su navegador "normal".

Código de ejemplo para la forma de sometimiento:

@Test 
public void submittingForm() throws Exception { 
    final WebClient webClient = new WebClient(); 

    // Get the first page 
    final HtmlPage page1 = webClient.getPage("http://some_url"); 

    // Get the form that we are dealing with and within that form, 
    // find the submit button and the field that we want to change. 
    final HtmlForm form = page1.getFormByName("myform"); 

    final HtmlSubmitInput button = form.getInputByName("submitbutton"); 
    final HtmlTextInput textField = form.getInputByName("userid"); 

    // Change the value of the text field 
    textField.setValueAttribute("root"); 

    // Now submit the form by clicking the button and get back the second page. 
    final HtmlPage page2 = button.click(); 

    webClient.closeAllWindows(); 
} 

Para más detalles visita: http://htmlunit.sourceforge.net/gettingStarted.html

Answer 2

Bueno, cuando se pulsa un botón por lo general lo hace una solicitud a través de un método HTTP POST, por lo que debe utilizar para manejar HttpClient petición y HtmlParser para manejar la página de respuesta con la cadena que necesita.

Answer 3

Sí:

• java.net.URL#openConnection() le permitirá realizar peticiones HTTP y obtener la http respuestas

• Apache HttpComponents es una biblioteca que facilita el trabajo con HTTP.

Answer 4

Tome un vistazo al proyecto Apache HttpClient, o si necesita Javascript para funcionar en la página, pruebe HttpUnit.

Answer 5

La manera súper fácil de hacer esto es usar HtmlUnit aquí:

http://htmlunit.sourceforge.net/

y lo que quiere hacer puede ser tan simple como:

@Test 
public void homePage() throws Exception { 
    final WebClient webClient = new WebClient(); 
    final HtmlPage page = webClient.getPage("http://htmlunit.sourceforge.net"); 
    assertEquals("HtmlUnit - Welcome to HtmlUnit", page.getTitleText()); 
}