hadoop

5El calor

1Respuesta

¿Tamaño del bloque de Hadoop y problema con el tamaño del archivo?

Esto podría parecer una pregunta tonta pero en Hadoop supongamos que blocksize es X (típicamente 64 o 128 MB) y un tamaño de archivo local es Y (donde Y es menor que X). Ahora cuando copie el archivo

7El calor

3Respuesta

¿Por qué enviar trabajo a mapreduce lleva tanto tiempo en General?

Por lo general, para un trabajo de envío de clúster de 20 nodos para procesar 3 GB (200 divisiones) de datos, se necesitan aproximadamente 30 segundos y la ejecución real es de aproximadamente 1 m. Qu

30El calor

2Respuesta

explotar el conjunto de Struct en Colmena

Esta es la continuación de la Tabla Colmena CREATE EXTERNAL TABLE IF NOT EXISTS SampleTable ( USER_ID BIGINT, NEW_ITEM ARRAY<STRUCT<PRODUCT_ID: BIGINT,TIMESTAMPS:STRING>> ) Y estos son los datos

6El calor

2Respuesta

Cómo obtener el nombre del archivo de entrada en MRjob

Estoy escribiendo una función de mapa usando mrjob. Mi entrada vendrá de archivos en un directorio en HDFS. Los nombres de los archivos contienen una información pequeña pero crucial que no está prese

24El calor

6Respuesta

Ninguna excepción de método Hadoop <init>

Cuando ejecuto un archivo Hadoop .jar desde el símbolo del sistema, arroja una excepción diciendo que no existe dicho método Método StockKey. StockKey es mi clase personalizada definida para mi propio

38El calor

5Respuesta

cómo matar trabajos de hadoop

Quiero matar todos mis trabajos de hadoop automáticamente cuando mi código encuentra una excepción no controlada. Me pregunto cuál es la mejor práctica para hacerlo? Gracias

10El calor

2Respuesta

Hadoop Documentation for Eclipse

Recientemente instalé Hadoop y puedo ejecutar programas simples. Sin embargo, me gustaría ver la documentación de las clases Hadoop dentro del navegador Javadoc en Eclipse. Por favor, hágamelo saber c

12El calor

4Respuesta

Hbase mapreduce error

Escribo el trabajo mapreduce. La entrada es una tabla en hbase. Cuando ejecución del trabajo, tenía error: org.apache.hadoop.hbase.client.ScannerTimeoutException: 88557ms pasado desde la última invoca

7El calor

6Respuesta

Instalación de PIG en un solo nodo

Instalé Hadoop (1.0.2) para un solo nodo en Windows 7 con Cygwin, y está funcionando. Sin embargo, no puedo obtener CERDO (0.10.0) para ver el Hadoop. 1) "Error: JAVA_HOME is not set." I añade esta

7El calor

2Respuesta

Copiando archivo desde HDFS a la máquina local

Tengo un problema al tratar de "descargar" el archivo del sistema de archivos HDFS a mi sistema local. (aunque la operación opuesta funciona sin problemas). * Nota: El archivo existe en el sistema de