Python verificar url va a una página

Question

Tengo una lista de URL (1000+) que se han almacenado durante más de un año. Quiero revisarlos y verificarlos para ver si aún existen. ¿Cuál es la mejor/más rápida forma de verificarlos todos y devolver una lista de los que no devuelven un sitio?

Answer 1

esto es un poco lento, pero se puede usar algo como esto para comprobar si la URL es un vivo

import urllib2 

try: 
    urllib2.urlopen(url) 
    return True   # URL Exist 
except ValueError, ex: 
    return False  # URL not well formatted 
except urllib2.URLError, ex: 
    return False  # URL don't seem to be alive 

más rápida que urllib2 puede utilizar httplib

import httplib 

try: 
    a = httplib.HTTPConnection('google.com') 
    a.connect() 
except httplib.HTTPException as ex: 
    print "not connected" 

también se puede hacer una DNS checkout (no es muy conveniente verificar si un sitio web no existe):

import socket 

try: 
    socket.gethostbyname('www.google.com') 
except socket.gaierror as ex: 
    print "not existe" 

Answer 2

Chec k esto:

Ping in python

Fin continuación:

import ping, socket 
try: 
    result = ping.do_one('http://stackoverflow.com/', timeout=2) 
except socket.error, e: 
    # url cannot be reached 
    print "Error:", e