¿Cómo manejar el error de solicitud de tiempo de espera (408) en boto?

Question

Estamos utilizando el método domain.select(), que boto proporciona, para consultar SimpleDB. Para consultas más pequeñas (consultas que involucran un par de horas de datos), este método funciona bien. Pero cuando empiezo a usar múltiples hilos y consultas más largos (24 horas de datos), comienza el tiempo de espera, dando siguiente error en la salida estándar:

------------------------- 
     4 0 8 
... 
<?xml version="1.0"?> 
<Response><Errors><Error><Code>QueryTimeout</Code><Message>A timeout occurred when attempting to query domain 'd110824' with query expression 'select * from `d110824` where `timestamp` &gt;= '2011-08-24T10:45:56' and `timestamp` &lt; '2011-08-25T10:45:56' and `identifier` = '00063F052C49' order by `timestamp` asc </Message><BoxUsage>0.0055590278</BoxUsage></Error></Errors><RequestID>....</RequestID></Response> 

Quiero poner en práctica un mecanismo de reintento (retroceso exponencial), cuando este error se encuentra Boto no arroja ninguna excepción para este error y simplemente lo imprime. Para implementar un mecanismo de reintento, necesito algún tipo de código de error o excepción para saber que se ha producido el error.

¿Alguna idea sobre cómo lograr esto en boto?

Answer 1

Boto volverá a intentar en un 503, pero no en una

408.

Hay varias cosas que harán de reintento boto, incluyendo una (servicio no disponible) 503, y algunos tipos de errores HTTP al intentar conectarse . Utilizará un retroceso exponencial e intentará hasta 5 veces de manera predeterminada. Puede cambiar el número de reintentos estableciendo num_retries en el archivo de configuración .boto:

[Boto] 
num_retries = 3 

No sé por qué no vuelve a intentar en un 408. Los documentos de AWS que he visto recomienda hacerlo.

Answer 2

Tuve el mismo problema con boto y terminé bifurcando y agregando un retroceso exponencial directamente. Ver https://github.com/datacratic/boto/blob/develop/boto/sdb/queryresultset.py#L83.