¿Cuántas lecturas de Datastore consumen cada una de las operaciones Fetch, Count y Query?

Question

Estoy leyendo en Google App Engine grupos de muchos usuarios (Fig1, Fig2, Fig3) que no pueden determinar de dónde proviene el gran número de lecturas del Datastore en sus informes de facturación.
Como ya sabrá, Datastore reads tienen un límite de 50K operaciones/día, por encima de este presupuesto debe pagar.

Operaciones de 50K suenan como una gran cantidad de recursos, pero desafortunadamente, parece que cada operación (consulta, obtención de entidad, recuento ...), oculta varias lecturas de Datastore.

¿Es posible saber a través de API o algún otro enfoque, cuántas lecturas de Datastore están ocultas detrás de las llamadas RPC.get, RPC.runquery comunes?

Appstats parece inútil en este caso, ya que proporciona solo los detalles de RPC y no el costo de las lecturas ocultas.

tener un modelo simple como esto:

class Example(db.Model): 
    foo = db.StringProperty()  
    bars= db.ListProperty(str) 

y entidades en el almacén de datos, estoy interesado en el costo de este tipo de operaciones:

items_count = Example.all(keys_only = True).filter('bars=','spam').count() 

items_count = Example.all().count(10000) 

items = Example.all().fetch(10000) 

items = Example.all().filter('bars=','spam').filter('bars=','fu').fetch(10000) 

items = Example.all().fetch(10000, offset=500) 

items = Example.all().filter('foo>=', filtr).filter('foo<', filtr+ u'\ufffd') 

Answer 1

Ver http://code.google.com/appengine/docs/billing.html#Billable_Resource_Unit_Cost. Una consulta le cuesta 1 lectura más 1 lectura por cada entidad devuelta. "Devuelto" incluye entidades omitidas por desplazamiento o recuento. Así que es 1.001 lecturas para cada uno de estos:

Example.all(keys_only = True).filter('bars=','spam').count() 
Example.all().count(1000) 
Example.all().fetch(1000) 
Example.all().fetch(1000, offset=500) 

Para éstos, el número de lecturas que se cobra es 1 más el número de entidades que coincidan con los filtros:

Example.all().filter('bars=','spam').filter('bars=','fu').fetch() 
Example.all().filter('foo>=', filtr).filter('foo<', filtr+ u'\ufffd').fetch() 

En lugar de utilizar el recuento se debería considerar almacenar el conteo en el almacén de datos, fragmentado si necesita actualizar el conteo más de una vez por segundo. http://code.google.com/appengine/articles/sharding_counters.html

Siempre que sea posible, debe utilizar cursores en lugar de un desplazamiento.

Answer 2

Sólo para asegurarse de:

estoy casi seguro:

Example.all().count(10000) 

Éste utiliza las operaciones del almacén de datos pequeños (no hay necesidad de ir a buscar las entidades sólo pueden introducirse), así que esto contaría como 1 leer + 10,000 (max) operaciones pequeñas.