hadoop-streaming

6El calor

2Respuesta

¿Cuál es la diferencia entre las tareas de mapa local de Rack y las tareas de mapa de datos locales?

Cuando ejecuto "hadoop job -status xxx", imprima la siguiente lista. Rack-local map tasks=124 Data-local map tasks=6 ¿Cuál es la diferencia entre las tareas de mapa en bastidor local y las tareas d

6El calor

2Respuesta

Cómo obtener el nombre del archivo de entrada en MRjob

Estoy escribiendo una función de mapa usando mrjob. Mi entrada vendrá de archivos en un directorio en HDFS. Los nombres de los archivos contienen una información pequeña pero crucial que no está prese

7El calor

1Respuesta

Python hadoop en streaming: Configuración de un nombre de trabajo

Tengo un trabajo que se ejecuta en mi clúster utilizando Hadoop-streaming a tengo que empezar un nuevo trabajo para el cual quiero añadir un nombre de trabajo, ¿cómo puedo pasar esa opción en línea de

6El calor

2Respuesta

¿Pasar directorios no archivos a hadoop-streaming?

En mi trabajo, tengo la necesidad de analizar muchos registros históricos. Los clientes individuales (hay miles) pueden tener cientos de subdirectorios de registro desglosados por fecha. Por ejemplo

8El calor

2Respuesta

Hadoop: trabajo se ejecuta bien en conjunto más pequeño de datos, pero falla con gran conjunto de datos

Tengo la siguiente situación tengo 3 máquinas se agrupan con los siguientes confirguration. Master Usage of /: 91.4% of 74.41GB MemTotal: 16557308 kB MemFree: 723736 kB Slave 01 Usage of /: 52.

7El calor

3Respuesta

¿Cómo paso un parámetro a una tarea de transmisión de Python Hadoop?

Para una tarea de transmisión de Python Hadoop, ¿cómo paso un parámetro a, por ejemplo, la secuencia de comandos del reductor para que se comporte de manera diferente según el parámetro que se pasa? e

5El calor

1Respuesta

Hadoop lanza ClassCastException para el tipo de clave de java.nio.ByteBuffer

Estoy utilizando "hadoop-0.20.203.0rc1.tar.gz" para la configuración de mi clúster. Cada vez que me puse job.setMapOutputKeyClass(ByteBuffer.class); y ejecutar el trabajo consigo siguiente excepción:

6El calor

1Respuesta

¿Puedo forzar mis reductores (fase de copia) para que se inicien solo cuando se hayan completado todos los mapeadores?

Tengo un trabajo hadoop con una fase de mapa bastante larga y quiero que se ejecuten otros trabajos cortos con prioridad. Para esto establezco la prioridad de mi trabajo largo con hadoop job -set-prio

5El calor

2Respuesta

Tabla dinámica con Apache Pig

Me pregunto si es posible hacer pivotar una tabla en una pasada en Apache Pig. de entrada: Id Column1 Column2 Column3 1 Row11 Row12 Row13 2 Row21 Row22 Row23 Salida: Id Name Value 1 Column1 R

6El calor

2Respuesta

Amazon Elastic MapReduce - SIGTERM

Tengo un trabajo de transmisión EMR (Python) que normalmente funciona bien (por ejemplo, 10 máquinas que procesan 200 entradas). Sin embargo, cuando lo funciono contra grandes conjuntos de datos (12 m