Desempeño de concurrencia en Django (apache2 prefork/mod_wsgi), ¿qué estoy haciendo mal?

Question

En primer lugar, no estoy descontento con el rendimiento de mi sitio con Django, no está recibiendo tráfico masivo, un poco más de 1000 visitas por día hasta ahora.

Tenía curiosidad por lo bien que podría hacer frente a los picos de tráfico pesado, así que utilicé la herramienta ab para hacer algunas pruebas comparativas.

Me di cuenta de que el rendimiento cuando la concurrencia es mayor que 1 proporciona la misma cantidad de solicitud que una conexión simultánea.

¿No deberían los requisitos aumentar con la concurrencia?

Im en una máquina virtual con 1 GB de RAM, apache2 (prefork), mod_wsgi, memcached y mysql.
Todo el contenido de la página se ha almacenado en caché, la base de datos no recibe ningún resultado. Y si memcached soltara la entrada, solo hay 2 consultas ligeras (indexadas), y se deberían volver a almacenar en caché inmediatamente.

evaluación comparativa de datos: (nota: i hizo referencia con 10k 2000 y las solicitudes con los mismos resultados)

En la página de inicio, que se sirve a través apache2/mod_wsgi por Django:
-n100 C4: http://dpaste.com/97999/ (58,2 reqs/s)
-n100 -c1: http://dpaste.com/97998/ (57,7 reqs/s)

Para robots.txt, directamente desde apache2:
-n100 C4: http://dpaste.com/97992/ (4917 reqs/s)
-n100 C1: http://dpaste.com/97991/ (1412 reqs/s)

Ésta es mi Apache conf: http://dpaste.com/97995/

Editar: Se ha añadido más información

wsgi.conf: http://dpaste.com/98461/

mysite. conf: http://dpaste.com/98462/

My wsgi-handler:

import os, sys 
os.environ['DJANGO_SETTINGS_MODULE'] = 'myproject.settings' 
import django.core.handlers.wsgi 
application = django.core.handlers.wsgi.WSGIHandler() 

Answer 1

Como está utilizando prefork MPM y mod_wsgi en modo incrustado con muchos procesos, posiblemente esté matando el rendimiento de su caja. Para empezar, sugerimos que lea:

http://blog.dscpl.com.au/2009/03/load-spikes-and-excessive-memory-usage.html

Uso del modo incrustado como si, hay que ajustar los parámetros de MPM con cuidado. Establecer MaxRequestsPerChild para que sea diferente de cero no es un buen comienzo, ya que forzará periódicamente los procesos Apache, con el resultado de que provocará un aumento de carga ya que todo tiene que volver a cargarse.

Sugeriría MPM de trabajador y con su aplicación web de Python ejecutándose en el modo de demonio mod_wsgi. Esto para empezar dará como resultado la ejecución de muchos menos procesos, menos sobrecarga de memoria y brindará más previsibilidad en torno al rendimiento del sistema. Luego puede comenzar a observar más de cerca por qué las cosas pueden estar funcionando más lentamente.

Hay que prestar atención es a lo que se obtiene la siguiente sección de salida de 'ab':

Connection Times (ms) 
       min mean[+/-sd] median max 
Connect:  0 0 0.0  0  0 
Processing:  0 0 0.2  0  2 
Waiting:  0 0 0.1  0  2 
Total:   0 0 0.2  0  2 

Si la columna máx muestra valores grandes, entonces usted está siendo golpeado por los costes de aplicación de carga debido para que no los elimine de sus pruebas a través de la precarga o por un breve intervalo de reinicio del proceso.