Configuración de classpath adicional para una herramienta hadoop

Question

¿Cómo puedo configurar dinámicamente una ruta de clase adicional para que se pueda acceder a jar desde una clase de herramienta de hadoop? Estoy ejecutando mi trabajo a través de "jar hadoop". Necesito algo así como el modificador "-libjars" que desafortunadamente funciona solo para mapeadores y reductores, y mis implementaciones de herramientas no ven jarros proporcionados por "libjars"

exportar "HADOOP_CLASSPATH = $ HADOOP_CLASSPATH:/ruta/a/mi. jar & & hadoop jar ... "parece que hace que" my.jar "esté accesible para la herramienta, pero las bibliotecas que están dentro del jar de trabajo en la carpeta"/lib "se vuelven inaccesibles.

Answer 1

Además, si tiene conflictos con algunos archivos jar incluidos en una distribución de Hadoop, puede export HADOOP_USER_CLASSPATH_FIRST=true. Tal vez sea útil para alguien.