URI personalizados de Parse con urlparse (Python)

Question

Mi aplicación crea URI (¿o URL?) Personalizados para identificar objetos y resolverlos. El problema es que el módulo urlparse de Python se niega a analizar esquemas de URL desconocidos, como el que analiza http.

Si No ajusto urlparse de listas uses_ * me sale esto:

>>> urlparse.urlparse("qqqq://base/id#hint") 
('qqqq', '', '//base/id#hint', '', '', '') 
>>> urlparse.urlparse("http://base/id#hint") 
('http', 'base', '/id', '', '', 'hint') 

Aquí es lo que hago, y me pregunto si hay una mejor manera de hacerlo:

import urlparse 

SCHEME = "qqqq" 

# One would hope that there was a better way to do this 
urlparse.uses_netloc.append(SCHEME) 
urlparse.uses_fragment.append(SCHEME) 

¿Por qué no hay una mejor manera de hacer esto?

Answer 1

Creo que el problema es que los URI no tienen todos un formato común después del esquema. Por ejemplo, mailto: urls no están estructuradas de la misma manera que http: urls.

me gustaría utilizar los resultados del primer análisis sintáctico, luego sintetizar una URL HTTP y analizar de nuevo:

parts = urlparse.urlparse("qqqq://base/id#hint") 
fake_url = "http:" + parts[2] 
parts2 = urlparse.urlparse(fake_url) 

Answer 2

intente eliminar el esquema completo, y comenzar con // netloc, es decir:

>>> SCHEME="qqqq" 
>>> url="qqqq://base/id#hint"[len(SCHEME)+1:] 
>>> url 
'//base/id#hint' 
>>> urlparse.urlparse(url) 
('', 'base', '/id', '', '', 'hint') 

No tendrá el esquema en el resultado de urlparse, pero conoce el esquema de todos modos.

También tenga en cuenta que Python 2.6 parece manejar esta url bien (aparte del fragmento):

$ python2.6 -c 'import urlparse; print urlparse.urlparse("qqqq://base/id#hint")' 
ParseResult(scheme='qqqq', netloc='base', path='/id#hint', params='', query='', fragment='') 

Answer 3

También puede registrar un controlador personalizado con urlparse:

import urlparse 

def register_scheme(scheme): 
    for method in filter(lambda s: s.startswith('uses_'), dir(urlparse)): 
     getattr(urlparse, method).append(scheme) 

register_scheme('moose') 

Esto añadirá su esquema de URL a las listas:

uses_fragment 
uses_netloc 
uses_params 
uses_query 
uses_relative 

El uri se tratará como http-like y devolverá correctamente el camino, fragmento, nombre de usuario/contraseña, etc.

urlparse.urlparse('moose://username:password@hostname:port/path?query=value#fragment')._asdict() 
=> {'fragment': 'fragment', 'netloc': 'username:password@hostname:port', 'params': '', 'query': 'query=value', 'path': '/path', 'scheme': 'moose'} 

Answer 4

También hay biblioteca llamada furl que le da resultado deseado:

>>>import furl 
>>>f=furl.furl("qqqq://base/id#hint"); 
>>>f.scheme 
'qqqq' 

>>> f.host 
'base' 
>>> f.path 
Path('/id') 
>>> f.path.segments 
['id'] 
>>> f.fragment                                                                 
Fragment('hint') 
>>> f.fragmentstr                                                                
'hint' 

Answer 5

Usted puede utilizar yurl biblioteca. A diferencia de Purl o Furl, no intenta arreglar errores urlparse. Es nuevo compatible con la implementación de RFC 3986.

>>> import yurl 
>>> yurl.URL('qqqq://base/id#hint') 
URLBase(scheme='qqqq', userinfo=u'', host='base', port='', path='/id', query='', fragment='hint') 

Answer 6

Parece que la pregunta está desactualizada. Desde al menos Python 2.7 no hay problemas.

Python 2.7.10 (default, May 23 2015, 09:40:32) [MSC v.1500 32 bit (Intel)] on win32 
>>> import urlparse 
>>> urlparse.urlparse("qqqq://base/id#hint") 
ParseResult(scheme='qqqq', netloc='base', path='/id', params='', query='', fragment='hint')