django/apio: ¿Mejores prácticas para ejecutar tareas en objetos Django de 150k?

Question

Tengo que ejecutar tareas en aproximadamente 150k objetos Django. ¿Cuál es la mejor manera de hacer esto? Estoy usando el Django ORM como Broker. El back-end de la base de datos es MySQL y se cuelga y muere durante el task.delay() de todas las tareas. Relacionado, también quería comenzar con el envío de un formulario, pero la solicitud resultante produjo muy con un tiempo de respuesta largo que expiró.

Answer 1

Me gustaría también considerar el uso de algo que no sea el uso de la base de datos como el "corredor". Realmente no es adecuado para este tipo de trabajo.

embargo, usted puede mover algunos de estos gastos indirectos del ciclo de petición/respuesta con el lanzamiento de una tarea de crear las otras tareas:

from celery.task import TaskSet, task 

from myapp.models import MyModel 

@task 
def process_object(pk): 
    obj = MyModel.objects.get(pk) 
    # do something with obj 

@task 
def process_lots_of_items(ids_to_process): 
    return TaskSet(process_object.subtask((id,)) 
         for id in ids_to_process).apply_async() 

Además, dado que es probable que no tenga 15000 transformadores de transformar todos estos objetos en paralelo, se puede dividir los objetos en trozos de decir de 100 o 1000:

from itertools import islice 
from celery.task import TaskSet, task 
from myapp.models import MyModel 

def chunks(it, n): 
    for first in it: 
     yield [first] + list(islice(it, n - 1)) 

@task 
def process_chunk(pks): 
    objs = MyModel.objects.filter(pk__in=pks) 
    for obj in objs: 
     # do something with obj 

@task 
def process_lots_of_items(ids_to_process): 
    return TaskSet(process_chunk.subtask((chunk,)) 
         for chunk in chunks(iter(ids_to_process), 
              1000)).apply_async() 

Answer 2

Pruebe usar RabbitMQ en su lugar.

RabbitMQ se utiliza en muchas empresas más grandes y la gente realmente confía en él, ya que es un gran intermediario.

Here is a great tutorial on how to get you started with it.

Answer 3

utilizo beanstalkd (http://kr.github.com/beanstalkd/) como el motor. Agregar un trabajador y una tarea es bastante sencillo para Django si usa django-beanstalkd: https://github.com/jonasvp/django-beanstalkd/

Es muy confiable para mi uso.

Ejemplo del trabajador:

import os 
import time 

from django_beanstalkd import beanstalk_job 


@beanstalk_job 
def background_counting(arg): 
    """ 
    Do some incredibly useful counting to the value of arg 
    """ 
    value = int(arg) 
    pid = os.getpid() 
    print "[%s] Counting from 1 to %d." % (pid, value) 
    for i in range(1, value+1): 
     print '[%s] %d' % (pid, i) 
     time.sleep(1) 

Para iniciar un trabajo/trabajador/tarea:

from django_beanstalkd import BeanstalkClient 
client = BeanstalkClient() 

client.call('beanstalk_example.background_counting', '5') 

(fuente extraída de ejemplo de aplicación django-beanstalkd)

Enjoy!