¿Cómo puedo eliminar una URL?

Question

Quiero ser capaz de tomar una URL acortada o no abreviada y devolver su forma abreviada. ¿Cómo puedo hacer un programa de Python para hacer esto?

Aclaración adicional:

• Caso 1: acortado -> unshortened
• Caso 2: unshortened -> unshortened

por ejemplo bit.ly/silly en la matriz de entrada debe ser google.com en la matriz de salida
p. google.com en la matriz de entrada debe ser google.com en la matriz de salida

Answer 1

enviar una solicitud HTTP HEAD a la URL y mirar el código de respuesta. Si el código es 30x, mira el encabezado Location para obtener la URL no acortada. De lo contrario, si el código es 20x, entonces la URL no se redirecciona; probablemente también desee manejar los códigos de error (4xx y 5xx) de alguna manera. Por ejemplo:

# This is for Py2k. For Py3k, use http.client and urllib.parse instead, and 
# use // instead of/for the division 
import httplib 
import urlparse 

def unshorten_url(url): 
    parsed = urlparse.urlparse(url) 
    h = httplib.HTTPConnection(parsed.netloc) 
    h.request('HEAD', parsed.path) 
    response = h.getresponse() 
    if response.status/100 == 3 and response.getheader('Location'): 
     return response.getheader('Location') 
    else: 
     return url 

Answer 2

Unshorten.me tiene una API que le permite enviar una solicitud JSON o XML y obtener la URL completa devuelta.

Answer 3

abrir la URL y ver lo que resuelve:

>>> import urllib2 
>>> a = urllib2.urlopen('http://bit.ly/cXEInp') 
>>> print a.url 
http://www.flickr.com/photos/26432908@N00/346615997/sizes/l/ 
>>> a = urllib2.urlopen('http://google.com') 
>>> print a.url 
http://www.google.com/ 

Answer 4

http://github.com/stef/urlclean

sudo pip install urlclean 
urlclean.unshorten(url) 

Answer 5

El uso de solicitudes:

import requests 

session = requests.Session() # so connections are recycled 
resp = session.head(url, allow_redirects=True) 
print(resp.url) 

Answer 6

Aquí un código src que tiene en cuenta casi de los casos de esquina útiles:

• conjunto un tiempo de espera personalizado.
• configura un agente de usuario personalizado.
• compruebe si tenemos que usar una conexión http o https.
• resuelven recursivamente la url de entrada y evitan que finalice dentro de un bucle.

El código src está en GitHub @https://github.com/amirkrifa/UnShortenUrl

comentarios son bienvenidos ...

import logging 
logging.basicConfig(level=logging.DEBUG) 

TIMEOUT = 10 
class UnShortenUrl: 
    def process(self, url, previous_url=None): 
     logging.info('Init url: %s'%url) 
     import urlparse 
     import httplib 
     try: 
      parsed = urlparse.urlparse(url) 
      if parsed.scheme == 'https': 
       h = httplib.HTTPSConnection(parsed.netloc, timeout=TIMEOUT) 
      else: 
       h = httplib.HTTPConnection(parsed.netloc, timeout=TIMEOUT) 
      resource = parsed.path 
      if parsed.query != "": 
       resource += "?" + parsed.query 
      try: 
       h.request('HEAD', 
          resource, 
          headers={'User-Agent': 'curl/7.38.0'} 
            } 
         ) 
       response = h.getresponse() 
      except: 
       import traceback 
       traceback.print_exec() 
       return url 

      logging.info('Response status: %d'%response.status) 
      if response.status/100 == 3 and response.getheader('Location'): 
       red_url = response.getheader('Location') 
       logging.info('Red, previous: %s, %s'%(red_url, previous_url)) 
       if red_url == previous_url: 
        return red_url 
       return self.process(red_url, previous_url=url) 
      else: 
       return url 
     except: 
      import traceback 
      traceback.print_exc() 
      return None 

Answer 7

Para unshort, puede utilizar peticiones. Esta es una solución simple que funciona para mí.

import requests 
url = "http://foo.com" 

site = requests.get(url) 
print(site.url)