Flume agent: ¿puedo especificar compresión como gzip o bz2?

Question

¿Es posible especificar una opción de compresión en un agente de Flume para que los datos se transfieran al recopilador en un formato comprimido? Sé que hay opciones de compresión en el nivel del recopilador, pero también sería extremadamente útil poder transferir datos comprimidos del agente.

Gracias!

Answer 1

Flume tiene los decoradores de fregadero gzip y gunzip que puede usar. Coloque el decorador gzip en el receptor de su agente y el decorador gunzip en el receptor de su colector, y la transferencia de datos comprimidos entre el agente y el recopilador debería funcionar.