¿hay algún grupo para ThreadingMixIn y ForkingMixIn para SocketServer?

Question

yo estaba tratando de hacer un proxy HTTP usando BaseHttpServer que se basa en SocketServer que consiguió 2 asíncrono Mixins (ThreadingMixIn y ForkingMixIn)

el problema con los dos que trabajan en cada solicitud (asignar un nuevo hilo o tenedor un nuevo subproceso para cada solicitud)

¿Hay un Mixin que utilice un grupo de, digamos, 4 subprocesos y 40 subprocesos en cada para que las solicitudes sean manejadas por esos hilos ya creados?

porque esto supondría un gran aumento de rendimiento y supongo que ahorraría algunos recursos.

Answer 1

He comenzado un proyecto que resuelve este problema

https://github.com/muayyad-alsadi/python-PooledProcessMixIn

Tal vez usted quiere unirse a terminar el Todos (limpiar después CTRL + C)

Answer 2

se puede utilizar una piscina desde concurrent.futures (en stdlib desde Python 3.2):

from BaseHTTPServer import HTTPServer, test 
from SimpleHTTPServer import SimpleHTTPRequestHandler 
from SocketServer  import ThreadingMixIn 

from concurrent.futures import ThreadPoolExecutor # pip install futures 

class PoolMixIn(ThreadingMixIn): 
    def process_request(self, request, client_address): 
     self.pool.submit(self.process_request_thread, request, client_address) 

def main(): 
    class PoolHTTPServer(PoolMixIn, HTTPServer): 
     pool = ThreadPoolExecutor(max_workers=40) 

    test(HandlerClass=SimpleHTTPRequestHandler, ServerClass=PoolHTTPServer) 

if __name__=="__main__": 
    main() 

Como se puede ver la puesta en práctica de un caso de roscado es bastante trivial.

Si lo guarda a server.py entonces se podría ejecutar como:

$ python -mserver 

Este comando utiliza hasta 40 hebras para atender las peticiones de http://your_host:8000/.

El caso de uso principal de HTTPServer es para realizar pruebas.