¿Por qué no puedo buscar páginas de wikipedia con LWP :: Simple?

Question

Estoy intentando buscar páginas de Wikipedia usando LWP::Simple, pero no vuelven. Este código:

#!/usr/bin/perl 
use strict; 
use LWP::Simple; 

print get("http://en.wikipedia.org/wiki/Stack_overflow"); 

no imprime nada. Pero si uso alguna otra página web, digamos http://www.google.com, funciona bien.

¿Hay algún otro nombre que debería usar para referirme a las páginas de Wikipedia?

¿Qué podría estar pasando aquí?

Answer 1

solicitudes parecer Wikipedia bloques LWP :: Simple: http://www.perlmonks.org/?node_id=695886

las siguientes obras: en lugar

#!/usr/bin/perl 
use strict; 
use LWP::UserAgent; 

my $url = "http://en.wikipedia.org/wiki/Stack_overflow"; 

my $ua = LWP::UserAgent->new(); 
my $res = $ua->get($url); 

print $res->content; 

Answer 2

Debido a que Wikipedia es el bloqueo de la cadena de agente de usuario HTTP utilizado por LWP :: Simple.

Recibirá la respuesta "403 Prohibido" si intenta usarlo.

Pruebe el módulo LWP :: UserAgent para solucionar este problema, estableciendo el agente-atributo.

Answer 3

Consulte también los módulos de CPAN relacionados con Mediawiki, diseñados para acceder a los sitios de Mediawiki (de los cuales wikipedia es uno) y le pueden dar más detalles que el simple LWP.

http://cpan.uwinnipeg.ca/search?query=Mediawiki&mode=dist

Answer 4

también puede simplemente establecer la UA en el módulo LWP :: Simple - solo debe importar la variable $ ua, y que va a permitir modificar el agente de usuario subyacente:

use LWP::Simple qw/get $ua/; 
$ua->agent("WikiBot/0.1"); 
print get("http://en.wikipedia.org/wiki/Stack_overflow"); 

Answer 5

Resolví este problema usando LWP:RobotUA en vez de LWP::UserAgent. Puedes leer el documento a continuación. No hay muchas diferencias que deba modificar.

http://lwp.interglacial.com/ch12_02.htm