¿Fread falla para archivos grandes?

Question

Tengo que analizar un archivo de 16 GB. Estoy leyendo el archivo secuencialmente usando fread() y fseek(). ¿Es factible? ¿Funcionará fread() para un archivo tan grande?

Answer 1

Depende de lo que quieras hacer. Si desea leer los 16 GB completos de datos en la memoria, es probable que se quede sin memoria o espacio de pila de aplicaciones.

En lugar de leer el fragmento de datos por fragmento y procesar en esos trozos (y recursos gratuitos cuando haya terminado).

Pero, además de todo esto, decida qué enfoque desea hacer (usando fread() o istream, etc.) y haga algunos casos de prueba para ver cuál funciona mejor para usted.

Answer 2

Si se implementa correctamente, esto no debería ser un problema. Supongo que, de forma secuencial, quiere decir que está mirando el archivo en fragmentos discretos y avanzando con su puntero de archivo.

Salida http://www.computing.net/answers/programming/using-fread-with-a-large-file-/10254.html

Suena como que estaba haciendo casi lo mismo que usted.

Answer 3

Usted no menciona un idioma, así que voy a asumir C.

no veo ningún problema con fread, pero fseek y ftell pueden tener problemas.

Estas funciones usan long int como el tipo de datos para mantener la posición del archivo, en lugar de algo inteligente como fpos_t o incluso size_t. Esto significa que pueden fallar al trabajar en un archivo de más de 2 GB, y ciertamente puede fallar en un archivo de 16 GB.

Necesitas ver qué tan grande es long int en tu plataforma. Si son 64 bits, estás bien. Si es 32, es probable que tenga problemas al usar ftell para medir la distancia desde el inicio del archivo.

Considere utilizar fgetpos y fsetpos en su lugar.

Answer 4

Si está en un sistema POSIX-ish, deberá asegurarse de haber creado su programa con soporte de desplazamiento de archivos de 64 bits. Los mandatos POSIX (o al menos permiten, y la mayoría de los sistemas lo hacen) la implementación para denegar operaciones IO en archivos cuyo tamaño no se ajusta al off_t, incluso si el único IO que se está ejecutando es secuencial sin búsqueda.

En Linux, esto significa que necesita usar -D_FILE_OFFSET_BITS=64 en la línea de comando gcc.

Answer 5

Gracias por la respuesta. Descubrí dónde me estaba yendo mal. fseek() y ftell() no funcionan para archivos de más de 4 GB. Usé _fseeki64() y _ftelli64() y está funcionando bien ahora.