Tengo archivos binarios no más de 20 MB de tamaño que tienen una sección de encabezado y luego una sección de datos que contiene secuencias de uchars. Tengo Numpy, SciPy, etc., y cada biblioteca tiene diferentes formas de carga de los datos. ¿Alguna sugerencia para los métodos más eficientes que debo usar?forma más eficiente de la carga de archivos binarios con formato en Python
5
A
Respuesta
4
struct debería funcionar para la sección de encabezado, mientras numpy memmap sería eficiente para la sección de datos si va a manipularlo en numpy de todos modos. No hay necesidad de estresarse acerca de ser inconsistente aquí. Ambos métodos son compatibles, solo use la herramienta correcta para cada trabajo.
8
utilizar el módulo struct, o posiblemente un módulo personalizado escrito en C si el rendimiento es crítico.
0
he encontrado que es array.fromfile
los métodos más rápidos para los datos homogéneos.
1
bdec parece prometedor.
Cuestiones relacionadas
- 1. Carga eficiente de archivos grandes con Yesod
- 2. ¿La forma más rápida de escribir archivos hdf5 con Python?
- 3. ¿La forma más eficiente de Python para elegir la cadena más larga en la lista?
- 4. ¿Cuál es la forma más eficiente de crear rutas en google maps desde archivos gps?
- 5. de carga de archivos con Python Mechanize
- 6. La forma más eficiente de calcular la distancia de Levenshtein
- 7. ¿La forma más eficiente de calcular la frecuencia de valores en una lista de Python?
- 8. ¿La forma más eficiente de buscar en SQL?
- 9. Diccionario más eficiente <K,V> .ToString() con formato?
- 10. ¿Cuál es la forma más eficiente en C# para unir más de 2 archivos xml con el mismo esquema?
- 11. ¿Forma más eficiente de contar intersecciones?
- 12. La forma más eficiente de buscar las últimas x líneas de un archivo en python
- 13. ¿Cuál es la forma más eficiente de generar las combinaciones de un conjunto en python?
- 14. La forma más eficiente de almacenar direcciones IP en MySQL
- 15. ¿La forma más eficiente de agregar matrices en C#?
- 16. forma eficiente de iterar sobre la lista de archivos
- 17. La forma más eficiente de hacer 22 construcciones diferentes
- 18. ¿La forma más eficiente de crear todas las combinaciones posibles de cuatro listas en Python?
- 19. ¿Cuál es la forma más eficiente de iterar a través de una lista en python?
- 20. ¿Cuál es la forma más eficiente de encontrar una de varias subcadenas en Python?
- 21. Descargar archivos binarios con problemas de archivos
- 22. la forma más eficiente de la cadena separada
- 23. Rails 3 forma de varios pasos con carga de archivos
- 24. C# forma más eficiente de la comparación de dos colecciones
- 25. StringIO con archivos binarios?
- 26. ¿Forma más eficiente de ejecutar la consulta de fecha/aaaa?
- 27. La forma más eficiente de leer datos de una secuencia
- 28. ¿Cuál es la forma más eficiente de ordenar un NSSet?
- 29. La forma más rápida y eficiente de crear XML
- 30. La forma más eficiente de implementar una búsqueda fonética