Cómo analizar entre <div class ="foo"> and</div> fácilmente en Perl

Question

Quiero analizar un sitio web en una estructura de datos Perl. En primer lugar me carga la página con

use LWP::Simple; 
my $html = get("http://f.oo"); 

Ahora sé dos maneras de tratar con él. Primero están las expresiones regulares y los demás módulos.

Comencé leyendo sobre HTML::Parser y encontré algunos ejemplos. Pero no estoy tan seguro acerca del conocimiento de Perl.

Mi ejemplo de código va en

my @links; 

my $p = HTML::Parser->new(); 
$p->handler(start => \&start_handler,"tagname,attr,self"); 
$p->parse($html); 

foreach my $link(@links){ 
    print "Linktext: ",$link->[1],"\tURL: ",$link->[0],"\n"; 
} 

sub start_handler{ 
    return if(shift ne 'a'); 
    my ($class) = shift->{href}; 
    my $self = shift; 
    my $text; 
    $self->handler(text => sub{$text = shift;},"dtext"); 
    $self->handler(end => sub{push(@links,[$class,$text]) if(shift eq 'a')},"tagname"); 
} 

No entiendo por qué hay dos veces por turno. El secound debe ser el auto puntero. Pero el primero me hace pensar que la auto-referencia ya está en shiftet, se usa como Hash y el valor para href se almacena en $class. ¿Alguien podría explicar esta línea (my ($class) = shift->{href};)?

Junto a esta falta, no quiero que analizar todas las direcciones URL, quiero poner todo el código entre <div class ="foo"> y </div> en una cadena, donde las porciones de código es el medio, especialmente otros <div></div> etiquetas. Entonces, yo o un módulo tenemos que encontrar el extremo correcto. Después de que lo planee para escanear la cadena de nuevo, para encontrar las clases especiales, como <h1>,<h2>, <p class ="foo2"></p>, etc.

espero que esta información le ayuda a darme algunos consejos útiles, y por favor tenga en cuenta que en primer lugar me gustaría añadir una fácil comprensión, que no tiene que ser una gran actuación en el primer nivel!

Answer 1

De acuerdo con los documentos, la firma del manejador es (\%attr, \@attr_seq, $text). Hay tres turnos, uno para cada argumento.

my ($class) = shift->{href}; 

es equivalente a:

my $class; 
my %attr_seq; 
my $attr_seq_ref; 

$attr_seq_ref = shift; 
%attr_seq = %$attr_seq_ref; 
$class = $attr_seq{'href'}; 

Answer 2

Uso HTML::TokeParser::Simple.

código ensayada basándose en su descripción:

#!/usr/bin/env perl 

use strict; use warnings; 

use HTML::TokeParser::Simple; 

my $p = HTML::TokeParser::Simple->new(url => 'http://example.com/example.html'); 

my $level; 

while (my $tag = $p->get_tag('div')) { 
    my $class = $tag->get_attr('class'); 
    next unless defined($class) and $class eq 'foo'; 

    $level += 1; 

    while (my $token = $p->get_token) { 
     $level += 1 if $token->is_start_tag('div'); 
     $level -= 1 if $token->is_end_tag('div'); 
     print $token->as_is; 
     unless ($level) { 
      last; 
     } 
    } 
} 

Answer 3

HTML :: Parser es más de un señalizador de un analizador. Deja mucho trabajo duro para ti. ¿Ha considerado usar HTML::TreeBuilder (que usa HTML :: Parser) o XML::LibXML (una gran biblioteca que admite HTML)?

Answer 4

No hay necesidad de ser tan complicado. Puede recuperar y encontrar elementos en el DOM utilizando CSS selectors con Mojo::UserAgent:

say Mojo::UserAgent->new->get('http://f.oo')->res->dom->find('div.foo'); 

o, bucle a través de los elementos encontrados:

say $_ for Mojo::UserAgent->new->get('http://f.oo')->res->dom 
    ->find('div.foo')->each; 

o bucle que utiliza una devolución de llamada:

Mojo::UserAgent->new->get('http://f.oo')->res->dom->find('div.foo')->each(sub { 
    my ($count, $el) = @_; 
    say "$count: $el"; 
});