maneja lwp timeout efectivamente

Question

Estoy usando LWP para descargar contenido de páginas web, y me gustaría limitar la cantidad de tiempo que espera para una página. Esto se logra en lwp así:

my $ua = LWP::UserAgent->new; 
$ua->timeout(10); 
$ua->get($url); 

Y esto funciona bien, excepto por el tiempo de espera cada vez que llega a su límite, sólo se muere y no puede continuar con el guión! Realmente me gustaría manejar este tiempo de espera correctamente para poder registrar que la URL tuvo un tiempo de espera y luego pasar a la siguiente. ¿Alguien sabe como hacer esto? ¡Gracias!

Answer 1

LWP::Agent 's get() devuelve un objeto HTTP::Response que se puede utilizar para los errores de comprobación:

use LWP::Agent; 
use HTTP::Status(); 

my $ua = LWP::UserAgent->new; 
$ua->timeout(10); 
my $response = $ua->get($url); 

if ($response->is_error) { 
    printf "[%d] %s\n", $response->code, $response->message; 

    # record the timeout 
    if ($response->code == HTTP::Status::HTTP_REQUEST_TIMEOUT) { 
     ... 
    } 
} 

Por cierto, la mejor práctica hoy en día es usar Try::Tiny en lugar de eval {...}. Te da try {...} catch {...}. y resuelve algunos problemas al marcar if $@ (ver la sección de antecedentes en la documentación Try::Tiny).

Answer 2

Puede hacer el equivalente de un try {} catch {} en Perl usando bloques eval:

http://perldoc.perl.org/functions/eval.html

Answer 3

Para la mayoría de los propósitos, LWP :: tiempo de espera de agente de usuario es suficiente, pero lo hace sufrir algunos inconvenientes ... se aplica a cada llamada sistema, en lugar de a la suma de todas ellas. Si realmente necesita un período de tiempo de espera fijo, esta es una de las cosas que LWPx::ParanoidAgent se cuida.