Proxy Check en python

Question

He escrito un script en python que usa cookies y POST/GET. También incluí el soporte de proxy en mi script. Sin embargo, cuando uno ingresa un proxy proxy muerto, el script se bloquea. ¿Hay alguna manera de verificar si un proxy está muerto/vivo antes de ejecutar el resto de mi script?

Además, he notado que algunos proxies no manejan las cookies/POST correctamente. ¿Hay alguna forma de arreglar esto?

Answer 1

El más simple era es simplemente detectar la excepción IOError de urllib:

try: 
    urllib.urlopen(
     "http://example.com", 
     proxies={'http':'http://example.com:8080'} 
    ) 
except IOError: 
    print "Connection error! (Check proxy)" 
else: 
    print "All was fine" 

Asimismo, desde this blog post - "check status proxy address" (con algunas mejoras leves):

import urllib2 
import socket 

def is_bad_proxy(pip):  
    try: 
     proxy_handler = urllib2.ProxyHandler({'http': pip}) 
     opener = urllib2.build_opener(proxy_handler) 
     opener.addheaders = [('User-agent', 'Mozilla/5.0')] 
     urllib2.install_opener(opener) 
     req=urllib2.Request('http://www.example.com') # change the URL to test here 
     sock=urllib2.urlopen(req) 
    except urllib2.HTTPError, e: 
     print 'Error code: ', e.code 
     return e.code 
    except Exception, detail: 
     print "ERROR:", detail 
     return True 
    return False 

def main(): 
    socket.setdefaulttimeout(120) 

    # two sample proxy IPs 
    proxyList = ['125.76.226.9:80', '213.55.87.162:6588'] 

    for currentProxy in proxyList: 
     if is_bad_proxy(currentProxy): 
      print "Bad Proxy %s" % (currentProxy) 
     else: 
      print "%s is working" % (currentProxy) 

if __name__ == '__main__': 
    main() 

Recuerde que esto podría duplicar el tiempo de la secuencia de comandos toma, si el proxy está inactivo (ya que tendrá que esperar dos tiempos de espera de conexión). A menos que tenga que saber específicamente que el proxy tiene la culpa, manejar el IOError es mucho más limpio, simple y rápido.

Answer 2

Creo que el mejor enfoque es como dijo dbr, manejando la excepción.

Otra solución que podría ser mejor en algunos casos, es utilizar una herramienta externa online proxy checker para comprobar si un servidor proxy está vivo y luego seguir utilizando la secuencia de comandos sin ninguna modificación.

Answer 3

Hay un buen paquete Grab Por lo tanto, si bien para usted, usted puede escribir algo como esto (sencilla de poder válido corrector-generador):

from grab import Grab, GrabError 

def get_valid_proxy(proxy_list): #format of items e.g. '128.2.198.188:3124' 
    g = Grab() 
    for proxy in proxy_list: 
     g.setup(proxy=proxy, proxy_type='http', connect_timeout=5, timeout=5) 
     try: 
      g.go('google.com') 
     except GrabError: 
      #logging.info("Test error") 
      pass 
     else: 
      yield proxy