flume

18El calor

3Respuesta

¿Cuál es la biblioteca más madura para construir una canalización de análisis de datos en Java/Scala para Hadoop?

Encontré muchas opciones recientemente, e interesante en sus comparaciones primaveralmente por madurez y estabilidad. Crunch - https://github.com/cloudera/crunch Scrunch - https://github.com/cloudera/

6El calor

1Respuesta

¿Cómo puedo obtener los registros recopilados en la consola usando Flume NG?

Estoy probando Flume NG (1.2.0) para recopilar registros. Es una prueba sencilla que Flume recopile un archivo de registro flume_test.log e imprima los registros recopilados en la consola como sysout.

6El calor

3Respuesta

¿Cuál es la forma más fácil de combinar bloques HDFS pequeños?

Estoy recopilando registros con Flume para el HDFS. Para el caso de prueba, tengo archivos pequeños (~ 300kB) porque el proceso de recopilación de registros fue escalado para el uso real. ¿Hay alguna

5El calor

2Respuesta

Recuperando la marca de tiempo de la fila hbase

Usando la API Hbase (Get/Put) o la API HBQL, ¿es posible recuperar la marca de tiempo de una columna en particular?

16El calor

1Respuesta

flume vs kafka vs others

Puede que esta pregunta se haya formulado antes, pero creo que es bueno considerarla de nuevo hoy dado que estas tecnologías han madurado. Estamos buscando utilizar uno de flume, kafka, scribe u otros

5El calor

1Respuesta

Escala de conmutación automática y failover de Flujo

Mi empresa está considerando usar un canal para un procesamiento de registro de bastante alto volumen. Creemos que el proceso de registro debe distribuirse, tanto por razones de volumen (escalabilidad

7El calor

2Respuesta

Registro distribuido con canal

Tengo un servicio móvil distribuido en 7 servidores, cada uno de ellos realizando una tarea específica. Quiero registrar información de ellos y luego derivar inteligencia comercial de ellos. Lo he red

5El calor

1Respuesta

Flume agent: ¿puedo especificar compresión como gzip o bz2?

¿Es posible especificar una opción de compresión en un agente de Flume para que los datos se transfieran al recopilador en un formato comprimido? Sé que hay opciones de compresión en el nivel del reco