consumidor de kafka en R

Estoy buscando hackear un consumidor de kafka en Python o R (preferiblemente R). Uso del consumidor de la consola kafka Puedo grep para una cadena y recuperar los datos relevantes, pero estoy perdido cuando se trata de analizarlo adecuadamente en R.consumidor de kafka en R

Hay clientes kafka disponibles en otros idiomas (por ejemplo: PHP , CPP) pero uno en R sería útil desde el punto de vista del análisis de datos.

Sería genial si los desarrolladores de R expertos en este foro pudieran insinuar/sugerir recursos que me permitieran avanzar en esta dirección.

Apache Kafka: incubator.apache.org/kafka/

Cliente (s) Kafka Consumidor: https://github.com/kafka-dev/kafka/tree/master/clients

Fuente

2012-02-24 harshsinghal

¿alguna vez llegar a ninguna parte con esto? – stanekam

Como hay una C++ API for Kafka, se puede usar Rcpp para llevarlo a R.

Editar en respuesta a un comentario sobre la solución R-only: No conozco a Kafka lo suficiente como para responder, pero, en general, el middleware funciona rápido, conecta múltiples clientes, transmisiones, etc. Así que simplificaría algo en alguna parte para obtener R (single-threade d como es) para jugar con él.

Fuente

2012-02-24 14:11:46

¿Es posible tener una solución R pura en su opinión? – harshsinghal

Expandí mi respuesta, y sospecho que no. –

[2015 Actualización] hay una biblioteca que le permite conectarse a kafka - rkafka

http://cran.r-project.org/web/packages/rkafka/rkafka.pdf

Fuente

2015-06-18 10:54:21 RInatM

¿Alguna opinión sobre el uso de rkafka? ¿Qué tan estable es? –

al menos funcionó para nosotros – RInatM

Estoy usando 'rkafka' ahora, pero no se mantiene, el autor no responde, y el paquete no es adecuado para la automatización (por ejemplo, los errores se imprimen directamente en la consola R, no arrojado como una "excepción" y no puede ser capturado). Cualquier actualización o información sobre otras implementaciones sería muy apreciada. – r2evans

Respuesta

Cuestiones relacionadas