¿Recomendación de CakePHP para iterar una tabla enorme y generar un mapa del sitio?

Question

Estoy tratando de crear un mapa del sitio XML usando CakePHP, desde una tabla que tiene más de 50,000 registros en este momento, cada registro equivalente a un URI en el mapa del sitio. Ahora el problema que estoy enfrentando es CakePHP me está quedando sin memoria mientras que la generación que, por dos razones:

1. find('all') Una es la construcción de una enorme matriz asociativa de todo el conjunto de 50.000 URI.
2. Como no deseo imprimir HTML desde el controlador, transfiero la matriz asociativa que contiene el URI, la prioridad, la frecuencia de cambio, etc., a la vista con una llamada $this->set(), que de nuevo es enorme y contiene 50,000 índices.

¿Es posible en absoluto hacer esto siguiendo las pautas de MVC y CakePHP?

Answer 1

¿Estás seguro de que tienes que quedarte sin memoria en 50,000 registros? Incluso si una fila tiene 1K de tamaño (bastante grande), ¿tendría que tratar con ~ 50 MB de datos? Mi P1 tenía suficiente memoria RAM para manejar eso. Establezca memory_limit en php.ini más alto que el predeterminado. (Considere también ajustar max_execution_time).

Por otro lado, si considera que el conjunto de datos es demasiado extenso y lo procesa como demasiado intensivo en recursos, no debe publicar esa página dinámicamente, es el cebo DDoS perfecto. (Al menos lo almacenaría en caché.) Podría programar una tarea cron para volver a generar la página cada X horas con un script del lado del servidor libre de la penalización MVC de servir todos los datos a la vez a la vista, podría funcionar en las filas secuencialmente.

Answer 2

Ha intentado unbindModel (si tiene relaciones) ...

Cada vez que tengo que hacer enormes consultas en cakephp sólo tiene que utilizar las funciones de MySQL "normales" como mysql_query, etc. mysql_fetch_assoc mucho más rápido, y sin falta de memoria ...

Answer 3

Tuve un problema similar esta semana y tropecé con el Containable Comportamiento. Esto le permite reducir cualquier consulta relacionada con las relaciones (si tiene alguna).

La mejor solución sería usar programáticamente LIMIT and OFFSET, y recorrer los pequeños fragmentos del conjunto de registros a la vez. Esto le ahorra rellenar 50K registros en la memoria a la vez.

Answer 4

find ('todo') es demasiado codicioso, tendrás que ser más específico si no quieres quedarte sin memoria.

Como se indicó anteriormente, use el comportamiento Containable. Si sólo necesita los resultados de su mesa, (sin tablas asociado) y sólo por un par de campos, una consulta más explícita como este debería ser mejor:

$results = $this->YourModel->find('all', array(
    'contain' => false, 
    'fields' => array('YourModel.name', 'YourModel.url') 
); 

también se debe considerar la adición de un mecanismo de caché html (CakePHP tiene un built-in o usa el suggested by Matt Curry).

Por supuesto, será una versión en caché, y no estará perfectamente actualizada en su lista. Si desea más control, siempre puede guardar el resultado en Cake Cache (usando Cache::write), utilizando las devoluciones de llamada afterSave/afterDelete de su modelo para actualizar el valor en caché y recrear el archivo xml en caché desde aquí.

Answer 5

Sé que esta pregunta es antigua, pero para las consultas realmente grandes todavía no hay una buena solución, creo.

Para iterar a través de un enorme conjunto de resultados, puede utilizar métodos DboSource.

En primer lugar obtener el DBO

$dbo = $this->Model->getDataSource(); 

Construir la consulta

$sql = $dbo->buildStatement($options); 

A continuación, ejecutar la instrucción e iterar a través de los resultados

if ($dbo->execute($sql)) 
{ 
    while ($dbo->hasResult() && $row = $dbo->fetchResult()) { 
     // $row is an array with same structure like find('first') 
    } 
} 

Answer 6

Use https://github.com/jamiemill/cakephp_find_batch o implementar esta lógica por sí mismo.