Datos fragmentados HDF5 DataSet y tamaño de tabla

Question

Estamos evaluando el rendimiento de HDF5 con respecto a los conjuntos de datos fragmentados. Especialmente intentamos averiguar si es posible leer a través de diferentes fragmentos contiguos y cómo se influye en el rendimiento al hacerlo. P. ej. tenemos un conjunto de datos con un tamaño de fragmento de 10, un conjunto de datos con 100 valores y queremos leer los valores 23 a 48. ¿Habrá una gran pérdida de rendimiento?

¡Muchas gracias!

Answer 1

No sé cómo responder específicamente a su pregunta, pero le sugiero que use un tamaño de porción de 1024 (o una potencia mayor de dos). No conozco las partes internas de HDF5, pero de mi conocimiento de los sistemas de archivos, y de un punto de referencia aproximado que hicimos, 1024 era lo correcto.