Nutch No hay agentes listados en 'http.agent.name'

Question

Exception in thread "main" java.lang.IllegalArgumentException: Fetcher: No agents listed in 'http.agent.name' property. 
     at org.apache.nutch.fetcher.Fetcher.checkConfiguration(Fetcher.java:1166) 
     at org.apache.nutch.fetcher.Fetcher.fetch(Fetcher.java:1068) 
     at org.apache.nutch.crawl.Crawl.run(Crawl.java:135) 
     at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) 
     at org.apache.nutch.crawl.Crawl.main(Crawl.java:54) 
     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
     at java.lang.reflect.Method.invoke(Method.java:616) 
     at org.apache.hadoop.util.RunJar.main(RunJar.java:156) 

Cada vez que ejecuto ./nutch crawl urls -dir crawl -depth 3 -topN 5. nutch decide lanzar este error. Tengo mi nutch-site.xml & nutch-default.xml configurado con.

<property> 
    <name>http.agent.name</name> 
    <value>blah</value> 
    </property> 

Hizo la descripción para facilitar su lectura. Pero no veo dónde más se puede especificar el nombre del agente. si alguien tiene algún consejo, estaría agradecido.

Answer 1

usando 1.3? Si es así, asegúrese de haber cambiado nutch-site.xml (y no predeterminado) en runtime/local/conf . El cambio de conf en NUTCH_HOME/conf no se copiará en los directorios de tiempo de ejecución a menos que reconstruya con hormiga. ¿Por qué no preguntas en la lista de correo? Es más probable que obtenga ayuda allí

Answer 2

Intente dar el nombre del agente para http.robots.agents también. Funcionó para mí ¡No recibí ese mensaje de allí en adelante!