¿Cómo hacer que este Twisted Python Proxy sea más rápido?

Question

El siguiente código es un proxy HTTP para el filtrado de contenido. Utiliza GET para enviar la URL del sitio actual al servidor, donde lo procesa y responde. Funciona MUY, MUY, MUY lento. ¿Alguna idea sobre cómo hacerlo más rápido?

Aquí está el código:

from twisted.internet import reactor 
from twisted.web import http 
from twisted.web.proxy import Proxy, ProxyRequest 
from Tkinter import * 
#import win32api 
import urllib2 
import urllib 
import os 
import webbrowser 

cwd = os.path.abspath(sys.argv[0])[0] 
proxies = {} 
user = "zachb" 
class BlockingProxyRequest(ProxyRequest): 
    def process(self): 
     params = {} 
     params['Location']= self.uri 
     params['User'] = user 
     params = urllib.urlencode(params) 
     req = urllib.urlopen("http://weblock.zbrowntechnology.info/ProgFiles/stats.php?%s" % params, proxies=proxies) 
     resp = req.read() 
     req.close() 
     if resp == "allow": 
      pass 
     else: 
      self.transport.write('''BLOCKED BY ADMIN!''') 
      self.transport.loseConnection() 

     ProxyRequest.process(self) 

class BlockingProxy(Proxy): 
    requestFactory = BlockingProxyRequest 
factory = http.HTTPFactory() 
factory.protocol = BlockingProxy 

reactor.listenTCP(8000, factory) 
reactor.run() 

Alguien tiene alguna idea sobre cómo hacer que este funcione más rápido? O incluso una mejor manera de escribirlo?

Answer 1

La principal causa de la lentitud en este proxy es probablemente estas tres líneas:

req = urllib.urlopen("http://weblock.zbrowntechnology.info/ProgFiles/stats.php?%s" % params, proxies=proxies) 
    resp = req.read() 
    req.close() 

Una aplicación basada en Twisted normal es de un solo subproceso. Tienes que salir de tu camino para involucrar a los hilos. Esto significa que cada vez que se recibe una solicitud, está bloqueando el único hilo de procesamiento en esta solicitud HTTP. No se procesan más solicitudes hasta que se complete esta solicitud HTTP.

Intente utilizar una de las API en twisted.web.client, (por ejemplo, Agent o getPage). Estas API no se bloquean, por lo que su servidor manejará las solicitudes concurrentes al mismo tiempo. Esto debería traducirse en tiempos de respuesta mucho más pequeños.