PHP - * fast * serialize/unserialize?

Question

Tengo un script PHP que crea un binary search tree sobre a rather large CSV file (5MB +). Esto es bueno y todo, pero toma aproximadamente 3 segundos leer/analizar/indexar el archivo.

Ahora pensé que podría usar serialize() y unserialize() para acelerar el proceso. Cuando el archivo CSV no ha cambiado mientras tanto, no tiene sentido volver a analizarlo.

Para mi horror, encuentro que llamar a serialize() en mi objeto de índice lleva 5 segundos y produce un gran archivo de texto (19 MB), mientras que unserialize() demora insoportablemente 27 segundos para volver a leerlo. Mejoras parecen un poco diferentes. ;-)

Entonces, ¿hay un mecanismo más rápido para almacenar/restaurar gráficos de objetos grandes desde/hacia el disco en PHP?

(Para aclarar: Estoy buscando algo que toma significativamente menor al citado 3 segundos para hacer el trabajo de-serialización.)

Answer 1

Parece que la respuesta a su pregunta es no.

Incluso si descubres una opción de "formato de serialización binaria", lo más probable es que sea más lento de lo que imaginas.

Por lo tanto, lo que debe tener en cuenta al usar (como han mencionado otros) es una base de datos, memcached o en un servicio web en línea.

me gustaría añadir las siguientes ideas, así:

• almacenamiento en caché de peticiones/respuestas
• su script PHP no hace apagado, pero se convierte en un servidor de red para responder a consultas
• o, se atreven yo digo que, cambie la estructura de datos y el método de consulta que está utilizando actualmente

Answer 2

Si quieres velocidad, escribir o leer desde el archivo sistema en menos que óptimo.

En la mayoría de los casos, un servidor de base de datos podrá almacenar y recuperar datos mucho más eficientemente que un script PHP que está leyendo/escribiendo archivos.

Otra posibilidad sería algo así como Memcached.

La serialización de objetos no se conoce por su rendimiento sino por su facilidad de uso y definitivamente no es adecuada para manejar grandes cantidades de datos.

Answer 3

veo dos opciones aquí

serialización de cadena, en la forma más simple algo así como

write => implode("\x01", (array) $node); 
    read => explode() + $node->payload = $a[0]; $node->value = $a[1] etc 

serialización binaria con el paquete()

write => pack("fnna*", $node->value, $node->le, $node->ri, $node->payload); 
    read => $node = (object) unpack("fvalue/nre/nli/a*payload", $data); 

Sería interesante referente ambas opciones y compara los resultados.

Answer 4

var_export debe ser muy rápido ya que PHP no tendrá que procesar la cadena en absoluto:

// export the process CSV to export.php 
$php_array = read_parse_and_index_csv($csv); // takes 3 seconds 
$export = var_export($php_array, true); 
file_put_contents('export.php', '<?php $php_array = ' . $export . '; ?>'); 

Luego incluyen export.php cuando lo necesite:

include 'export.php'; 

Dependiendo de su servidor web configurado, puede que tenga que chmod export.php para que sea ejecutable en primer lugar.

Answer 5

SQLite viene con PHP, puede usarlo como su base de datos. De lo contrario, podrías intentar usar sesiones, entonces no tienes que serializar nada, solo guardas el objeto PHP sin procesar.

Answer 6

¿Qué hay de usar algo como JSON para un formato para almacenar/cargar los datos? No tengo idea de qué tan rápido es el analizador JSON en PHP, pero generalmente es una operación rápida en la mayoría de los idiomas y es un formato liviano.

http://php.net/manual/en/book.json.php

Answer 7

En primer lugar hay que cambiar la forma en que funciona el programa. divide el archivo CSV en trozos más pequeños. Este es un datastore de IP, supongo. .

Convierta todas las direcciones IP a entero o largo.

Por lo tanto, si llega una consulta, puede saber qué parte buscar. Hay <?php ip2long() /* and */ long2ip(); funciones para hacer esto. De modo que 0 a 2^32 convierten todas las direcciones IP en 5000K/50K totalizan 100 archivos más pequeños. Este enfoque le proporciona una serialización más rápida.

Piense inteligente, código ordenada;)

Answer 8

Try igbinary ... hizo maravillas para mí:

http://pecl.php.net/package/igbinary