¿Cuál es la forma más rápida de hacer solicitudes web concurrentes en Perl?

Question

Necesito hacer algunas solicitudes simultáneas de feed XML en Perl. ¿Cuál es la forma más fácil de hacer esto?

Answer 1

utilizaría probablemente AnyEvent, tal como esto:

use AnyEvent; 
use AnyEvent::HTTP; 


sub get_feeds { 
    my @feeds = @_; 
    my $done = AnyEvent->condvar; 
    my %results; 
    $done->begin(sub { $done->send(\%results) }); 

    for my $feed (@feeds){ 
     $done->begin; 
     http_get $feed, sub { $results{$feed} = \@_; $done->end }; 
    } 

    $done->end; 
    return $done; 
} 

my $done = get_feeds(...); 
my $result = $done->recv; # block until all feeds are fetched 

Answer 2

que utilizan LWP::Parallel::UserAgent por algo similar. Un ejemplo de la vaina:

require LWP::Parallel::UserAgent; 
$ua = LWP::Parallel::UserAgent->new(); 
... 

$ua->redirect (0); # prevents automatic following of redirects 
$ua->max_hosts(5); # sets maximum number of locations accessed in parallel 
$ua->max_req (5); # sets maximum number of parallel requests per host 
... 
$ua->register ($request); # or 
$ua->register ($request, '/tmp/sss'); # or 
$ua->register ($request, \&callback, 4096); 
... 
$ua->wait ($timeout); 
... 
sub callback { my($data, $response, $protocol) = @_; .... } 

Answer 3

HTTP::Async es bastante rápido y muy fácil de código.

Answer 4

En realidad, AnyEvent::Curl::Multi es una biblioteca sin bloqueo construida sobre libcurl. Muy rápido y toneladas de concurrencia disponibles. Mucho más poderoso que AnyEvent :: HTTP, IMO.