¿Cómo "escanear" un sitio web (o página) para obtener información y ponerlo en mi programa?

Question

Bueno, estoy intentando averiguar cómo obtener información de una página web y llevarla a mi programa (en Java).

Por ejemplo, si conozco la página exacta de la que quiero información, en aras de la simplicidad una página de artículo de Best Buy, ¿cómo obtendré la información adecuada que necesito de esa página? Al igual que el título, el precio, la descripción?

¿Cómo se llamaría este proceso? No tengo ni idea de comenzar siquiera a investigar esto.

Editar: Bien, estoy corriendo una prueba para el JSoup (el que está publicado por BalusC), pero me siguen dando este error:

Exception in thread "main" java.lang.NoSuchMethodError: java.util.LinkedList.peekFirst()Ljava/lang/Object; 
at org.jsoup.parser.TokenQueue.consumeWord(TokenQueue.java:209) 
at org.jsoup.parser.Parser.parseStartTag(Parser.java:117) 
at org.jsoup.parser.Parser.parse(Parser.java:76) 
at org.jsoup.parser.Parser.parse(Parser.java:51) 
at org.jsoup.Jsoup.parse(Jsoup.java:28) 
at org.jsoup.Jsoup.parse(Jsoup.java:56) 
at test.main(test.java:12) 

tengo Apache Commons

Answer 1

Use un analizador HTML como Jsoup. Esto tiene mi preferencia por encima de other HTML parsers available in Java ya que es supportsjQuery como CSS selectors. Además, su clase que representa una lista de nodos, Elements, implementa Iterable de modo que usted puede iterar sobre ella en un enhanced for loop (lo que no hay necesidad de complicarse con verbosa Node y NodeList como las clases en el promedio de Java analizador DOM).

Aquí hay un ejemplo básico patada de salida (sólo hay que poner el latest Jsoup JAR file en la ruta de clase):

package com.stackoverflow.q2835505; 

import org.jsoup.Jsoup; 
import org.jsoup.nodes.Document; 
import org.jsoup.nodes.Element; 
import org.jsoup.select.Elements; 

public class Test { 

    public static void main(String[] args) throws Exception { 
     String url = "https://stackoverflow.com/questions/2835505"; 
     Document document = Jsoup.connect(url).get(); 

     String question = document.select("#question .post-text").text(); 
     System.out.println("Question: " + question); 

     Elements answerers = document.select("#answers .user-details a"); 
     for (Element answerer : answerers) { 
      System.out.println("Answerer: " + answerer.text()); 
     } 
    } 

} 

Como es de suponer, esto imprime su propia pregunta y los nombres de todos los que responden.

Answer 2

Usted puede usar un analizador html (muchos enlaces útiles aquí: java html parser).

El proceso se denomina 'contenido de sitio web atrapante'. Busque 'obtener contenido del sitio web java' para mayor inversión.

Answer 3

Mire en la biblioteca cURL. Nunca lo he usado en Java, pero estoy seguro de que debe haber enlaces para ello. Básicamente, lo que harás es enviar una solicitud de cURL a la página que quieras 'rascar'. La solicitud devolverá una cadena con el código fuente a la página. A partir de ahí, usará regex para analizar los datos que desee del código fuente. Por lo general, así es como lo harás.

Answer 4

Esto se conoce como raspado de pantalla, wikipedia tiene este artículo en los más específicos web scraping. Puede ser un desafío importante porque hay un HTML feo, defectuoso, roto, si no fuera por el navegador, así que buena suerte.

Answer 5

Es probable que desee ver el código HTML para ver si puede encontrar cadenas que son únicas y cerca de su texto, entonces puede usar línea/char-offsets para obtener los datos.

Podría ser incómodo en Java, si no hay clases XML similares a las que se encuentran en System.XML.Linq en C#.

Answer 6

El proceso en sí se denomina normalmente "raspado". Puede usar un analizador como TagSoup para procesar la página una vez que la haya obtenido.

Answer 7

Yo usaría JTidy - es similar a JSoup, pero no sé JSoup bien. JTidy maneja HTML roto y devuelve un Documento w3c, por lo que puede usarlo como fuente de XSLT para extraer el contenido que realmente le interesa.Si no conoce XSLT, entonces puede ir con JSoup, ya que el modelo de documento es más agradable para trabajar que w3c.

EDITAR: Un vistazo rápido en el sitio web JSoup muestra que JSoup puede ser la mejor opción. Parece ser compatible con los selectores de CSS para extraer elementos del documento. Puede ser mucho más fácil trabajar con esto que ingresar a XSLT.

Answer 8

solución JSoup es grande, pero si usted necesita para extraer algo muy simple que sea más fácil de usar expresiones regulares o String.indexOf

Como otros ya han mencionado el proceso se llama raspando

Answer 9

soportes jsoup java 1,5

https://github.com/tburch/jsoup/commit/d8ea84f46e009a7f144ee414a9fa73ea187019a3

se parece a esa pila era un error, y se ha fijado

Answer 10

También puedes probar jARVEST.

Está basado en un JRuby DSL sobre un motor puramente Java para transformar sitios web de araña raspa.

Ejemplo:

Encuentra todos los enlaces dentro de una página web (wget y xpath son construcciones del lenguaje de la jARVEST):

wget | xpath('//a/@href') 

Dentro de un programa Java:

Jarvest jarvest = new Jarvest(); 
    String[] results = jarvest.exec(
    "wget | xpath('//a/@href')", //robot! 
    "http://www.google.com" //inputs 
); 
    for (String s : results){ 
    System.out.println(s); 
    }