¿Cómo extraes una URL de una cadena usando Python?

Question

Por ejemplo:

string = "This is a link http://www.google.com" 

¿Cómo podría extraer 'http://www.google.com'?

(Cada enlace será del mismo formato, es decir 'http: //')

Answer 1

Puede haber algunas maneras de hacer esto, pero la más limpia sería utilizar expresiones regulares

>>> myString = "This is a link http://www.google.com" 
>>> print re.search("(?P<url>https?://[^\s]+)", myString).group("url") 
http://www.google.com 

Si hay puede haber múltiples enlaces se pueden utilizar algo parecido a continuación

>>> myString = "These are the links http://www.google.com and http://stackoverflow.com/questions/839994/extracting-a-url-in-python" 
>>> print re.findall(r'(https?://[^\s]+)', myString) 
['http://www.google.com', 'http://stackoverflow.com/questions/839994/extracting-a-url-in-python'] 
>>> 

Answer 2

con el fin de encontrar una dirección web en una cadena genérica, se puede utilizar un regular expression (regex).

Una simple expresión regular para la coincidencia de URL como la siguiente debe ajustarse a su caso.

regex = r'(' 

    # Scheme (HTTP, HTTPS, FTP and SFTP): 
    regex += r'(?:(https?|s?ftp):\/\/)?' 

    # www: 
    regex += r'(?:www\.)?' 

    regex += r'(' 

    # Host and domain (including ccSLD): 
    regex += r'(?:(?:[A-Z0-9][A-Z0-9-]{0,61}[A-Z0-9]\.)+)' 

    # TLD: 
    regex += r'([A-Z]{2,6})' 

    # IP Address: 
    regex += r'|(?:\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})' 

    regex += r')' 

    # Port: 
    regex += r'(?::(\d{1,5}))?' 

    # Query path: 
    regex += r'(?:(\/\S+)*)' 

    regex += r')' 

Si quieres ser aún más preciso, en la sección de TLD, debe asegurarse de que el dominio de nivel superior es un dominio de nivel superior válido (ver la lista completa de dominios de primer nivel válidos aquí: https://data.iana.org/TLD/tlds-alpha-by-domain.txt):

# TLD: 
    regex += r'(com|net|org|eu|...)' 

a continuación, sólo tiene que compilar la expresión regular anterior y usarlo para encontrar posibles coincidencias:

import re 

    string = "This is a link http://www.google.com" 

    find_urls_in_string = re.compile(regex, re.IGNORECASE) 
    url = find_urls_in_string.search(string) 

    if url is not None and url.group(0) is not None: 
     print("URL parts: " + str(url.groups())) 
     print("URL" + url.group(0).strip()) 

lo cual, en el caso de la cadena "Este es un enlace http://www.google.com "la salida voluntad:

URL parts: ('http://www.google.com', 'http', 'google.com', 'com', None, None) 
    URL: http://www.google.com 

Si cambia la entrada con una URL más compleja, por ejemplo 'Esta es también una URL https://www.host.domain.com:80/path/page.php?query=value&a2=v2#foo pero esto no es más' la salida será:

URL parts: ('https://www.host.domain.com:80/path/page.php?query=value&a2=v2#foo', 'https', 'host.domain.com', 'com', '80', '/path/page.php?query=value&a2=v2#foo') 
    URL: https://www.host.domain.com:80/path/page.php?query=value&a2=v2#foo 

NOTA: Si busca más URL en una sola cadena, igual puede usar la misma expresión regular, pero solo use findall() en lugar de search().

Answer 3

Hay otra manera de extraer URLs del texto fácilmente. Puede utilizar urlextract que lo haga por usted, sólo lo instale a través de pepita:

pip install urlextract 

y luego se puede utilizar de esta manera:

from urlextract import URLExtract 

extractor = URLExtract() 
urls = extractor.find_urls("Let's have URL stackoverflow.com as an example.") 
print(urls) # prints: ['stackoverflow.com'] 

Puede encontrar más información en mi página de GitHub: https://github.com/lipoja/URLExtract

NOTA: descarga una lista de TLD de iana.org para mantenerlo actualizado. Pero si el programa no tiene acceso a Internet, entonces no es para ti.