¿Cuál es la forma más rápida de HTTP GET en Python?

Question

¿Cuál es la forma más rápida de HTTP GET en Python si sé que el contenido será una cadena? Estoy buscando los documentos para un rápido de una sola línea como:

contents = url.get("http://example.com/foo/bar") 

Pero todo lo que puedo encontrar a través de Google son httplib y urllib - y yo soy incapaz de encontrar un acceso directo en esas bibliotecas.

¿Tiene el Python 2.5 estándar un atajo de alguna forma como el anterior, o debería escribir una función url_get?

1. yo preferiría no capturar la salida de los bombardeos a cabo a wget o curl.

Answer 1

Python 2.x:

import urllib2 
contents = urllib2.urlopen("http://example.com/foo/bar").read() 

Python 3.x:

import urllib.request 
contents = urllib.request.urlopen("http://example.com/foo/bar").read() 

Documentación para urllib.request y read.

¿Cómo es eso?

Answer 2

Eche un vistazo a httplib2 que, junto con muchas funciones muy útiles, proporciona exactamente lo que desea.

import httplib2 

resp, content = httplib2.Http().request("http://example.com/foo/bar") 

Donde el contenido sería el cuerpo de respuesta (como una cadena), y resp contendría el estado y los encabezados de respuesta.

Aunque no viene incluido con una instalación de python estándar (pero solo requiere una python estándar), pero definitivamente vale la pena echarle un vistazo.

Answer 3

Si desea solución con httplib2 sea oneliner considerar instatntinating objeto HTTP anónima

import httplib2 
resp, content = httplib2.Http().request("http://example.com/foo/bar") 

Answer 4

Aquí está una secuencia de comandos wget en Python: solución

# From python cookbook, 2nd edition, page 487 
import sys, urllib 

def reporthook(a, b, c): 
    print "% 3.1f%% of %d bytes\r" % (min(100, float(a * b)/c * 100), c), 
for url in sys.argv[1:]: 
    i = url.rfind("/") 
    file = url[i+1:] 
    print url, "->", file 
    urllib.urlretrieve(url, file, reporthook) 
print 

Answer 5

de Theller para wget es realmente útil, sin embargo, Descubrí que no imprime el progreso durante todo el proceso de descarga. Es perfecto si agrega una línea después de la declaración de impresión en el reporthook.

import sys, urllib 

def reporthook(a, b, c): 
    print "% 3.1f%% of %d bytes\r" % (min(100, float(a * b)/c * 100), c), 
    sys.stdout.flush() 
for url in sys.argv[1:]: 
    i = url.rfind("/") 
    file = url[i+1:] 
    print url, "->", file 
    urllib.urlretrieve(url, file, reporthook) 
print 

Answer 6

Puede utilizar una biblioteca llamada requests.

import requests 
r = requests.get("http://example.com/foo/bar") 

Esto es bastante fácil. A continuación, puede hacer así:

>>> print r.status_code 
>>> print r.headers 
>>> print r.content 

Answer 7

Si está trabajando con las API HTTP específicamente, también hay opciones más convenientes tales como Nap.

Por ejemplo, aquí es cómo conseguir los GIST de Github desde 1 ª de mayo de 2014:

from nap.url import Url 
api = Url('https://api.github.com') 

gists = api.join('gists') 
response = gists.get(params={'since': '2014-05-01T00:00:00Z'}) 
print(response.json()) 

Más ejemplos: https://github.com/kimmobrunfeldt/nap#examples

Answer 8

excelentes soluciones Xuan, Theller.

Para que funcione con Python 3 Modifique la siguiente

import sys, urllib.request 

def reporthook(a, b, c): 
    print ("% 3.1f%% of %d bytes\r" % (min(100, float(a * b)/c * 100), c)) 
    sys.stdout.flush() 
for url in sys.argv[1:]: 
    i = url.rfind("/") 
    file = url[i+1:] 
    print (url, "->", file) 
    urllib.request.urlretrieve(url, file, reporthook) 
print 

Además, el URL que introduzca debe ser precedida por una "http: //", de lo contrario, devuelve un error de tipo URL desconocida.

Answer 9

Sin más importaciones necesarias funciona esta solución (para mí) - también con https:

try: 
    import urllib2 as urlreq # Python 2.x 
except: 
    import urllib.request as urlreq # Python 3.x 
req = urlreq.Request("http://example.com/foo/bar") 
req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36') 
urlreq.urlopen(req).read() 

que a menudo tienen dificultades para agarrar el contenido cuando no se especifica un "User-Agent" en la información del encabezado. Entonces generalmente las solicitudes se cancelan con algo como: urllib2.HTTPError: HTTP Error 403: Forbidden o urllib.error.HTTPError: HTTP Error 403: Forbidden.