Manera con menos memoria para leer un archivo en PHP

Question

Estoy leyendo un archivo que contiene alrededor de 50k líneas usando la función file() en Php. Sin embargo, da un error de falta de memoria ya que los contenidos del archivo se almacenan en la memoria como una matriz. ¿Hay alguna otra manera?

Además, las longitudes de las líneas almacenadas son variables.

Aquí está el código. Además, el archivo es 700kB, no mB.

private static function readScoreFile($scoreFile) 
{ 
    $file = file($scoreFile); 
    $relations = array(); 

    for($i = 1; $i < count($file); $i++) 
    { 
     $relation = explode("\t",trim($file[$i])); 
     $relation = array(
         'pwId_1' => $relation[0], 
         'pwId_2' => $relation[1], 
         'score' => $relation[2], 
         ); 
     if($relation['score'] > 0) 
     { 
      $relations[] = $relation; 
     } 
    } 

    unset($file); 
    return $relations; 
} 

Answer 1

Uso fopen, fread y fclose para leer un archivo secuencialmente:

$handle = fopen($filename, 'r'); 
if ($handle) { 
    while (!feof($handle)) { 
     echo fread($handle, 8192); 
    } 
    fclose($handle); 
} 

Answer 2

EDITAR después de la actualización de la pregunta y comments to answer of fabjoa:

Definitivamente hay algo raro si un archivo 700kb come hasta 140MB de memoria con ese código que diste (sin embargo, podrías tener unset $ relación al final de cada iteración). Considere usar un depurador para recorrerlo y ver qué sucede. También puede ser que desee considerar volver a escribir el código para utilizar SplFileObject's CSV functions así (or their procedural cousins)

SplFileObject::setCsvControl example

$file = new SplFileObject("data.csv"); 
$file->setFlags(SplFileObject::READ_CSV); 
$file->setCsvControl('|'); 
foreach ($file as $row) { 
    list ($fruit, $quantity) = $row; 
    // Do something with values 
} 

---

Para una aproximación orientada a objetos para iterar sobre el archivo, intente SplFileObject:

SplFileObject::fgets example

$file = new SplFileObject("file.txt"); 
while (!$file->eof()) { 
    echo $file->fgets(); 
} 

SplFileObject::next example

// Read through file line by line 
$file = new SplFileObject("misc.txt"); 
while (!$file->eof()) { 
    echo $file->current(); 
    $file->next(); 
} 

o incluso

foreach(new SplFileObject("misc.txt") as $line) { 
    echo $line; 
} 

relacionados (si no duplicar) Más o menos:

• How to save memory when reading a file in Php?

Answer 3

asignar más memoria durante la operación, tal vez algo como en i_set ('memory_limit', '16M') ;. No olvide volver a la asignación de memoria inicial una vez que finalice la operación

Answer 4

Si no conoce la longitud máxima de la línea y no se siente cómodo utilizando un número mágico para la longitud máxima de la línea, necesitará haga un escaneo inicial del archivo y determine la longitud de línea máxima.

Aparte de que el siguiente código serle de ayuda:

// length is a large number or calculated from an initial file scan 
    while (!feof($handle)) { 
     $buffer = fgets($handle, $length); 
     echo $buffer; 
    }