Crear una solicitud HTTP sin formato con conectores

Question

Me gustaría poder construir una solicitud HTTP sin procesar y enviarla con un socket. Obviamente, te gustaría usar algo como urllib y urllib2 pero no quiero usar eso.

tendría que ser algo como esto:

import socket 

tcpsoc = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 
tcpsoc.bind(('72.14.192.58', 80)) #bind to googles ip 
tcpsoc.send('HTTP REQUEST') 
response = tcpsoc.recv() 

Obviamente también se tendría que solicitar la página/archivo y obtener y los parámetros de correos

Answer 1

mayor parte de lo que necesita saber está en el HTTP/1.1 spec, que definitivamente debe estudiar si quieres rodar su propia aplicación HTTP: http://www.w3.org/Protocols/rfc2616/rfc2616.html

Answer 2

Sí, básicamente, sólo hay que escribir el texto, algo como:

GET /pageyouwant.html HTTP/1.1[CRLF] 
Host: google.com[CRLF] 
Connection: close[CRLF] 
User-Agent: MyAwesomeUserAgent/1.0.0[CRLF] 
Accept-Encoding: gzip[CRLF] 
Accept-Charset: ISO-8859-1,UTF-8;q=0.7,*;q=0.7[CRLF] 
Cache-Control: no-cache[CRLF] 
[CRLF] 

Siéntase libre de quitar/agregar encabezados a voluntad.

Answer 3

Para un ejemplo de trabajo para guiar a usted, es posible que desee a echar un vistazo a libcurl, una biblioteca escrito en el lenguaje C que:

1. hace lo que quiere y mucho más;

2. es fácil de usar;

3. es ampliamente utilizado; y

4. es compatible de forma activa.

Es una cosa hermosa y uno de los mejores ejemplos de lo que puede y debe ser de código abierto.

Answer 4

#!/usr/bin/python 

import socket 
import urlparse 
import re 
import os 

socket.setdefaulttimeout = 0.50 
os.environ['no_proxy'] = '127.0.0.1,localhost' 
linkRegex = re.compile('<a\s*href=[\'|"](.*?)[\'"].*?>') 
CRLF = "\r\n\r\n" 


def GET(url): 
    url = urlparse.urlparse(url) 
    path = url.path 
    if path == "": 
     path = "/" 
    HOST = url.netloc # The remote host 
    PORT = 80   # The same port as used by the server 
    # create an INET, STREAMing socket 
    s = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 
    """ 
    *********************************************************************************** 
    * Note that the connect() operation is subject to the timeout setting, 
    * and in general it is recommended to call settimeout() before calling connect() 
    * or pass a timeout parameter to create_connection(). 
    * The system network stack may return a connection timeout error of its own 
    * regardless of any Python socket timeout setting. 
    *********************************************************************************** 
    """ 
    s.settimeout(0.30) 
    """ 
    ************************************************************************************** 
    * Avoid socket.error: [Errno 98] Address already in use exception 
    * The SO_REUSEADDR flag tells the kernel to reuse a local socket in TIME_WAIT state, 
    * without waiting for its natural timeout to expire. 
    ************************************************************************************** 
    """ 
    s.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) 
    #s.setblocking(0) 
    s.connect((HOST, PORT)) 
    s.send("GET/HTTP/1.0%s" % (CRLF)) 
    data = (s.recv(1000000)) 
    print data 
    # https://docs.python.org/2/howto/sockets.html#disconnecting 
    s.shutdown(1) 
    s.close() 
    print 'Received', repr(data) 

GET('http://www.google.com')