¿Cómo saber cuándo se completó la actualización del almacén de datos de Google AppEngine HRD?

Question

Tengo un trabajo de larga ejecución que actualiza 1000 de grupos de entidades. Quiero comenzar un segundo trabajo después que tendrá que suponer que todos esos elementos se han actualizado. Debido a que hay tantos grupos de entidades, no puedo hacerlo en una transacción, así que acabo de programar el segundo trabajo para que se ejecute 15 minutos después de que termine el primer uso de las colas de tareas.

¿Hay una manera mejor?

¿Es seguro suponer que 15 minutos prometen que el almacén de datos está sincronizado con mis llamadas anteriores?

Estoy usando alta replicación.

En los videos de Google IO sobre HRD, ofrecen una lista de formas de lidiar con la coherencia final. Uno de ellos fue "aceptarlo". Algunas actualizaciones (como las publicaciones de Twitter) no necesitan ser consistentes con la próxima lectura. Pero también dijeron algo así como "hey, solo estamos hablando de milisegundos en un par de segundos antes de que sean consistentes". ¿Ese marco de tiempo está documentado en otro lugar? ¿Es seguro asumir que esperar 1 minuto después de escribir antes de volver a leer significará que todas mis escrituras previas están allí en la lectura?

La mención de que es en la marca de 39:30 en este video http://www.youtube.com/watch?feature=player_embedded&v=xO015C3R6dw

Answer 1

encontré esta declaración:

Con consistencia eventual, más del 99,9% de sus escrituras están disponibles para las consultas a los pocos segundos.

en la parte inferior de esta página: http://code.google.com/appengine/docs/java/datastore/hr/overview.html

Por lo tanto, para mi aplicación, una oportunidad 0,1% de que no fuera allí en la próxima lectura es probablemente correcto. Sin embargo, planeo rediseñar mi esquema para hacer uso de consultas de antecesores.

Answer 2

No creo que haya ninguna construido en forma de determinar si se realizan las actualizaciones. Recomendaría agregar un campo lastUpdated a sus entidades y actualizarlo con su primer trabajo, luego verifique la marca de tiempo en la entidad que está actualizando con el 2do antes de ejecutar ... una especie de truco, pero debería funcionar.

Interesado para ver si alguien tiene una mejor solución. Espero que lo hagan ;-)

Answer 3

Esto es automático siempre y cuando consigas entidades sin cambiar la coherencia a Eventual. El HRD coloca los datos en la mayoría de los servidores de datos relevantes antes de volver. Si llama a la versión asíncrona de put, deberá llamar a get en todos los objetos Future para asegurarse de que esté completa.

Sin embargo, si está consultando los artículos en el primer trabajo, no hay manera de asegurarse de que el índice se haya actualizado.

Así, por ejemplo ...

Si está actualizando una propiedad en cada entidad (pero no la creación de cualquier entidad), a continuación, recuperar todas las entidades de ese tipo. Puede hacer una consulta de solo teclas seguida de un lote (que es aproximadamente tan rápido/barato como hacer una consulta normal) y asegúrese de tener todas las actualizaciones aplicadas.

Por otro lado, si agrega nuevas entidades o actualiza una propiedad en el primer proceso que consulta el segundo proceso, no hay forma de estar seguro.