mongodb Identificación del cursor no válido de error

Question

Estoy tratando de iterar a través de este bucle:

for doc in coll.find() 

me sale el siguiente error en el número 100.000, más registro.

File "build\bdist.win32\egg\pymongo\cursor.py", line 703, in next 
File "build\bdist.win32\egg\pymongo\cursor.py", line 679, in _refresh 
File "build\bdist.win32\egg\pymongo\cursor.py", line 628, in __send_message 
File "build\bdist.win32\egg\pymongo\helpers.py", line 95, in _unpack_response 
pymongo.errors.OperationFailure: cursor id '1236484850793' not valid at server 

¿qué significa este error?

Answer 1

Quizás el tiempo de espera del cursor haya expirado en el servidor. Para ver si este es el problema, tratar de establecer el tiempo de espera = false`:

for doc in coll.find(timeout=False) 

Ver http://api.mongodb.org/python/1.6/api/pymongo/collection.html#pymongo.collection.Collection.find

Si se trata de un problema de tiempo de espera de una posible solución es establecer la batch_size (s otras respuestas.).

Answer 2

Configuración timeout=False es una muy mala práctica. Una mejor forma de deshacerse de la excepción de tiempo de espera id de cursor es calcular cuántos documentos puede procesar su bucle en 10 minutos y obtener un tamaño de lote conservador. De esta manera, el cliente MongoDB (en este caso, PyMongo) tendrá que consultar el servidor de vez en cuando cada vez que se agotaron los documentos en el lote anterior. Esto mantendrá el cursor activo en el servidor, y aún estará cubierto por la protección de tiempo de espera de 10 minutos.

Aquí es cómo establecer el tamaño del lote para un cursor:

for doc in coll.find().batch_size(30): 
    do_time_consuming_things() 

Answer 3

• Ajuste del timeout=False es peligroso y no debe usarse nunca, ya que la conexión con el cursor puede permanecer abierta durante un tiempo ilimitado, que se afectar el rendimiento del sistema The docs specifically reference la necesidad de cerrar manualmente el cursor.
• Configurar el batch_size en un número pequeño funcionará, pero crea un gran problema de latencia, porque necesitamos acceder al DB más a menudo de lo necesario.
  Por ejemplo:
  5 millones de documentos con un pequeño lote tardarán horas en recuperar los mismos datos que un batch_size predeterminado devuelve en varios minutos.

En mi solución es obligatorio el uso de tipo en el cursor:

done = False 
skip = 0 
while not done: 
    cursor = coll.find() 
    cursor.sort(indexed_parameter) # recommended to use time or other sequential parameter. 
    cursor.skip(skip) 
    try: 
     for doc in cursor: 
      skip += 1 
      do_something() 
     done = True 
    except pymongo.errors.OperationFailure, e: 
     msg = e.message 
     if not (msg.startswith("cursor id") and msg.endswith("not valid at server")): 
      raise 

Answer 4

También puede forzar la evaluación mediante el uso de:

for doc in list(coll.find()) 

Answer 5

usted debe elegir una baja valor de batch_size para solucionar el problema:

col.find({}).batch_size(10) 

consulte lo siguiente answer