Diferencias entre hflush y hsync api en HDFS

Question

¿Alguien puede resaltar los detalles técnicos y cuándo usarlos?

Answer 1

En la implementación actual de HDFS (0.23.3), hflush y hsync es lo mismo. hsync invoca hflush. hflush garantiza que los datos volcados sean visibles para los lectores nuevos. No se garantiza que los datos se hayan descargado a la tienda persistente en el nodo de datos. Entonces, si usa hflush, puede perder algunos datos si se producen fallas en el nodo de datos. hsync está diseñado para garantizar que todos los datos se escriban en el dispositivo de disco, pero no está implementado ahora.

En alpha HDFS 2.0. *, hsync está implementado correctamente.

Puede obtener más detalles en HBase, HDFS and durable sync.