Actualización de un gran número de entidades en un almacén de datos en Google App Engine

Question

Me gustaría realizar una pequeña operación en todas las entidades de un tipo específico y volver a escribirlas en el almacén de datos. Actualmente tengo 20,000 entidades de este tipo, pero me gustaría una solución que se pueda escalar a cualquier cantidad.

¿Cuáles son mis opciones?

Answer 1

- esto es parte del framework MapReduce, pero solo quiere el primer componente, mapa, ya que no necesita el paso de mezcla/reducción si simplemente está mutando entidades de almacenamiento de datos.

Answer 2

Daniel está en lo cierto, pero si no quiere estropear el mapeador, eso requiere que agregue otra biblioteca a su aplicación, puede hacerlo usando Task Queues o incluso más simple usando el deferred library que se incluye desde SDK 1.2 .3.

20,000 entidades no es tan dramático y supongo que esta tarea no se realizará de forma regular (pero incluso si lo hace, es factible).

Aquí hay un ejemplo usando NDB y la biblioteca diferida (puede hacerlo fácilmente usando DB, pero considere cambiar a NDB de todos modos si todavía no lo está usando). Es una manera bastante directa, pero sin preocuparse demasiado por los tiempos de espera:

def update_model(limit=1000): 
    more_cursor = None 
    more = True 
    while more: 
    model_dbs, more_cursor, more = Model.query().fetch_page(limit, start_cursor=more_cursor) 
    for model_db in model_dbs: 
     model_db.updated = True 
    ndb.put_multi(model_dbs) 
    logging.info('### %d entities were updated' % len(model_dbs)) 

class UpdateModelHandler(webapp2.RequestHandler): 
    def get(self): 
    deferred.defer(update_model, _queue='queue') 
    self.response.headers['Content-Type'] = 'text/html' 
    self.response.out.write('The task has been started!')