Asegúrese de que fgetcsv() lea toda la línea

Question

Estoy usando PHP para importar datos desde un archivo CSV utilizando fgetcsv(), que produce una matriz para cada fila. Inicialmente, tuve el conjunto límite de caracteres en 1024, así:

while ($data = fgetcsv($fp, 1024)) { 
    // do stuff with the row 
} 

Sin embargo, CSV con más de 200 columnas superaron el límite de 1024 en muchas filas. Esto causó que la lectura de la línea se detuviera en medio de una fila, y luego la siguiente llamada a fgetcsv() comenzaría donde la anterior dejó, y así sucesivamente hasta que se alcanzó un EOL.

Desde entonces, he aumentado este límite a 4096, lo que debería ocuparme de la mayoría de los casos, pero me gustaría verificar que se haya leído toda la línea después de cada línea. ¿Cómo hago esto?

Estaba pensando en verificar el final del último elemento de la matriz para los caracteres de fin de línea (\ n, \ r, \ r \ n), pero no serían analizados por la llamada fgetcsv() ?

Answer 1

Gracias por las sugerencias, pero estas soluciones realmente no resolvieron el problema de saber que representamos la línea más larga sin dejar de ofrecer un límite. Pude lograr esto usando el comando wc -L de UNIX a través de shell_exec() para determinar la línea más larga en el archivo antes de comenzar la obtención de la línea. El código es el siguiente:

// open the CSV file to read lines 
$fp = fopen($sListFullPath, 'r'); 

// use wc to figure out the longest line in the file 
$longestArray = explode(" ", shell_exec('wc -L ' . $sListFullPath)); 
$longest_line = (int)$longestArray[0] + 4; // add a little padding for EOL chars 

// check against a user-defined maximum length 
if ($longest_line > $line_length_max) { 
    // alert user that the length of at least one line in the CSV is too long 
} 

// read in the data 
while ($data = fgetcsv($fp, $longest_line)) { 
    // do stuff with the row 
} 

Este enfoque garantiza que todas las líneas se lee en su totalidad y todavía proporciona una red de seguridad para las líneas muy largas sin pisar a través de todo el archivo PHP con la línea por línea.

Answer 2

Simplemente omita el parámetro de longitud. Es opcional en PHP5.

while ($data = fgetcsv($fp)) { 
    // do stuff with the row 
} 

Answer 3

Simplemente no especifique un límite, y fgetcsv() sorberá tanto como sea necesario para capturar una línea completa. Si especifica un límite, depende enteramente de USTED escanear el flujo de archivos y asegurarse de no cortar algo en el medio.

Sin embargo, tenga en cuenta que no especificar un límite puede ser riesgoso si no tiene control sobre la generación de este .csv en primer lugar. Sería fácil saturar su servidor con un CSV malicioso que tiene muchos terabytes de datos en una sola línea.

Answer 4

Tendría cuidado con su solución final. Pude cargar un archivo llamado /.;ls -a;.csv para realizar la inyección de comandos. Asegúrese de validar la ruta del archivo si usa este enfoque. Además, podría ser una buena idea proporcionar un default_length en el caso de que su wc falle por algún motivo.

// use wc to find max line length 
// uses a hardcoded default if wc fails 
// this is relatively safe from command 
// injection since the file path is a tmp file 
$wc = explode(" ", shell_exec('wc -L ' . $validated_file_path)); 
$longest_line = (int)$wc[0]; 
$length = ($longest_line) ? $longest_line + 4 : $default_length;