GAE: ¿La mejor manera de determinar cuántos de una clase se almacena?

Question

¿Cuál es la mejor manera de determinar cuántos modelos de cierto tipo hay en el almacén de datos de mi aplicación? La documentación dice que MyKind.all().count() es solo marginalmente mejor que recuperar todos los datos, y tiene un límite de 1000. Esto no es útil, porque espero tener más de 6000 instancias de MyKind almacenadas.

¿Hay una mejor manera de hacerlo? ¿Qué pasa si solo obtengo las llaves y las cuento?

Estoy usando Python.

Answer 1

Mantenga un objeto contador para su aplicación almacenado en la base de datos y actualícelo siempre que cree y elimine objetos.

Answer 2

Si un recuento aproximado es lo suficientemente bueno, usted podría utilizar las estadísticas del API:

http://code.google.com/appengine/docs/python/datastore/stats.html

Answer 3

Si lo hace solo claves que debe ser bastante rápido, ya que esto sólo tiene que leer el índice y doesn en realidad, captar cualquier entidad. Utilice un cursor y el bucle hasta que el recuento() devuelve menos de 1000.

Answer 4

This SO question tiene una respuesta (por @jgeewax) que es casi derecha (condición equivocada salida, como os comentaba allí). Aquí es un fijo ...:

class MyModel(db.Expando): 
    @classmethod 
    def count_all(cls): 
     """ 
     Count *all* of the rows (without maxing out at 1000) 
     """ 
     count = 0 
     query = cls.all().order('__key__') 

     while True: 
      current_count = query.count() 
      if current_count == 0: return count 
      count += current_count 

      if current_count == 1000: 
       last_key = query.fetch(1, 999)[0].key() 
       query = query.filter('__key__ > ', last_key) 

     return count 

El problema de rendimiento, por supuesto, es que para ello se utiliza una consulta real al almacén de datos por cada 1.000 artículos que ha - desnormalización cosas manteniendo un recuento real, como sugiere @Chris, va a utilizar ahora menos consultas. (¡Asegúrese de utilizar un sharded counter u otras formas de efficient counters como explica App Engine Fan!).

La desnormalización es una realidad con DB no relacionales, y, hecho correctamente, puede hacer una gran diferencia a su rendimiento. En cuanto a las preocupaciones que expresa sobre DRY, solo use métodos de clase u otras formas de funciones para realizar todas las puestas y eliminaciones de sus entidades (es decir, [[excepto dentro de los métodos de clase en cuestión]], nunca llame a métodos como .put() directamente en las entidades, ¡llame a los métodos de clase apropiados en su lugar!), ¡y esas funciones serán el lugar obvio para mantener los contadores desnormalizados actualizados!