¿Cómo puedo eliminar la pantalla con Perl?

Question

Necesito mostrar algunos valores que están almacenados en un sitio web, para eso necesito raspar el sitio web y buscar el contenido de la tabla. ¿Algunas ideas?

Answer 1

Si está familiarizado con jQuery es posible que desee echa un vistazo a pQuery, lo que hace que este muy fácil:

## print every <h2> tag in page 
use pQuery; 

pQuery("http://google.com/search?q=pquery") 
    ->find("h2") 
    ->each(sub { 
     my $i = shift; 
     print $i + 1, ") ", pQuery($_)->text, "\n"; 
    }); 

También hay HTML::DOM.

Sin embargo, haga lo que haga, no use expresiones regulares para esto.

Answer 2

He usado HTML Table Extract en el pasado. Personalmente me parece un poco torpe de usar, pero tal vez no entendí bien el modelo de objetos. que suelen utilizar esta parte del manual para examinar los datos:

use HTML::TableExtract; 
$te = HTML::TableExtract->new(); 
$te->parse($html_string); 

    # Examine all matching tables 
    foreach $ts ($te->tables) { 
     print "Table (", join(',', $ts->coords), "):\n"; 
     foreach $row ($ts->rows) { 
      print join(',', @$row), "\n"; 
     } 
    }` 

Answer 3

utilizo LWP::UserAgent durante la mayor parte de mi pantalla raspado necesidades. También puede acoplar eso con HTTP::Cookies si necesita el soporte de Cookies.

Aquí hay un ejemplo simple de cómo obtener la fuente.

use LWP; 
use HTTP::Cookies; 
my $cookie_jar = HTTP::Cookies->new; 
my $browser = LWP::UserAgent->new; 
$browser->cookie_jar($cookie_jar); 

$resp = $browser->get("https://www.stackoverflow.com"); 
if($resp->is_success) { 
    # Play with your source here 
    $source = $resp->content; 
    $source =~ s/^.*<table>/<table>/i; # this is just an example 
    print $source;      # not a solution to your problem. 
} 

Answer 4

A pesar de que he hecho por lo general esto con LWP/LWP::Simple, el módulo actual 'preferido' para cualquier tipo de página web raspado en Perl es WWW::Mechanize.

Answer 5

Si está familiarizado con XPath, también puede usar HTML::TreeBuilder::XPath. Y si no eres ... así que debería ser; -)

Answer 6

Para preguntas similares Stackoverflow echar un vistazo a ....

• How can I extract URLs from a web page in Perl
• How can I extract XML of a website and save in a file using Perl’s LWP?

Me gusta usar pQuery para cosas como esta sin embargo Web::Scraper se ve interesante.

Answer 7

no me refiero a arrastrar un hilo muerto pero cualquier persona buscando en Google a través de este hilo también debe pago y envío WWW::Scripter - 'Para los sitios web de secuencias de comandos que tienen las secuencias de comandos'

datos remotos felices agregación;)

Answer 8

Take un vistazo a la mágica Web::Scraper, es LA herramienta para raspado de la web.

Answer 9

Salida este pequeño ejemplo de web raspado con Perl: link text

Answer 10

También puede utilizar este sencillo WEB módulo de Perl :: raspador, esto es sencillo de entender y hacer la vida más fácil para mí. sigue este ejemplo para más información.

http://teusje.wordpress.com/2010/05/02/web-scraping-with-perl/