hadoop

5El calor

3Respuesta

Hadoop o Hadoop Streaming para MapReduce en AWS

Estoy a punto de comenzar un proyecto de mapreduce que se ejecutará en AWS y se me ofrece la opción de usar Java o C++. Entiendo que escribir el proyecto en Java me proporcionaría más funcionalidades,

9El calor

2Respuesta

Amazon MapReduce sin trabajo de reductor

Estoy intentando crear un trabajo de asignador único a través de AWS (un trabajo de transmisión). El campo reductor es obligatorio, así que le doy un ejecutable ficticio y agrego -jobconf mapred.map.t

7El calor

7Respuesta

Pregunta sobre hadoop "java.lang.RuntimeException: java.lang.ClassNotFoundException:"

Aquí está mi código fuente import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import java.util.ArrayList; import java.util.regex.Matcher; import java.util.regex.Patt

33El calor

6Respuesta

Hadoop one Map y multiple Reducir

Tenemos un gran conjunto de datos para analizar con múltiples reducir las funciones. Todo reducir trabajo algoritmo en el mismo conjunto de datos generados por la misma función mapa. Leer el gran conj

24El calor

3Respuesta

¿Qué debería ser hadoop.tmp.dir?

Hadoop tiene el parámetro de configuración hadoop.tmp.dir que, según la documentación, es `" Una base para otros directorios temporales. " Supongo que esta ruta hace referencia al sistema de archivos

27El calor

4Respuesta

¿Dónde HDFS almacena los archivos localmente de forma predeterminada?

Estoy ejecutando hadoop con configuración predeterminada con clúster de un nodo, y me gustaría encontrar dónde HDFS almacena archivos localmente. ¿Alguna idea? Gracias.

10El calor

4Respuesta

Cualquier base de datos OLAP escalable (escala de aplicación web)?

Tengo una aplicación que requiere análisis para diferentes niveles de agregación, y esa es la carga de trabajo OLAP. También quiero actualizar mi base de datos con bastante frecuencia. por ejemplo, es

19El calor

4Respuesta

Pregunta muy básica sobre Hadoop y archivos de entrada comprimidos

He empezado a buscar en Hadoop. Si mi entendimiento es correcto, podría procesar un archivo muy grande y se dividiría entre diferentes nodos; sin embargo, si el archivo está comprimido, entonces el ar

10El calor

5Respuesta

Error en Hadoop MapReduce

Cuando ejecuto un programa mapreduce utilizando Hadoop, aparece el siguiente error. 10/01/18 10:52:48 INFO mapred.JobClient: Task Id : attempt_201001181020_0002_m_000014_0, Status : FAILED java.i

22El calor

5Respuesta

Ejecutar trabajo de Hadoop sin utilizar JobConf

No puedo encontrar un solo ejemplo de envío de un trabajo de Hadoop que no utilice la clase obsoleta JobConf. JobClient, que no se ha desaprobado, solo admite métodos que toman un parámetro JobConf. P