manera más eficiente de obtener, modificar y poner un lote de entidades con ndb

Question

en mi aplicación realizo algunas operaciones por lotes. lamentablemente esto a veces lleva una eternidad actualizar 400-500 entidades. lo que tengo son todas las claves de entidad, necesito obtenerlas, actualizar una propiedad y guardarlas en el almacén de datos y guardarlas puede tomar hasta 40-50 segundos, que no es lo que estoy buscando.

enferma simplificar mi modelo para explicar lo que hago (que es bastante simple de todos modos):

class Entity(ndb.Model): 
    title = ndb.StringProperty() 

keys = [key1, key2, key3, key4, ..., key500] 

entities = ndb.get_multi(keys) 

for e in entities: 
    e.title = 'the new title' 

ndb.put_multi(entities) 

obtener y modificar no toma demasiado tiempo. Intenté get_async en un tasklet y cualquier otra cosa que sea posible, que solo cambia si el get o el forloop demoran más.

pero lo que realmente me molesta es que una opción de venta puede tardar hasta 50 segundos ...

cuál es la forma más eficiente de hacer esta operación (s) en una cantidad decente de tiempo. por supuesto, sé que depende de muchos factores, como la complejidad de la entidad, pero el tiempo que lleva ponerlo realmente supera el límite aceptable para mí.
intenté operaciones asíncronas, tasklets ...

Answer 1

Me pregunto si hacer lotes más pequeños de, por ejemplo, 50 o 100 entidades será más rápido. Si haces eso en una tarea vamos a intentar ejecutar esos tasklets al mismo tiempo.

También recomiendo mirar esto con Appstats para ver si eso muestra algo sorprendente.

Por último, suponiendo que esto utiliza el HRD, es posible que haya un límite en el número de grupos de entidades por lote. Este límite predeterminado es muy bajo. Intenta levantarlo.

Answer 2

Parece que MapReduce fue diseñado. Puede hacerlo rápidamente, al obtener y modificar simultáneamente todas las entidades al mismo tiempo, escaladas a través de múltiples instancias del servidor. Sin embargo, su costo aumenta al usar más instancias.

Answer 3

Voy a suponer que tienes el diseño de la entidad que deseas (es decir, no te preguntaré qué estás tratando de hacer y cómo deberías tener una gran entidad en lugar de un montón de pequeños que tienes que actualizar todo el tiempo). Porque eso no sería muy agradable. (=

¿Qué sucede si utiliza la cola de tareas? Puede crear varias tareas y cada tarea puede tomar como parámetros de URL las claves que es responsable de actualizar y la propiedad y el valor que se debe establecer. De esta manera, el trabajo se rompe en trozos manejables y la solicitud del usuario puede regresar inmediatamente mientras el trabajo ocurre en segundo plano? ¿Eso funcionaría?