secuencia em-http con autenticación básica y gzip cuelga

Question

Estoy intentando consumir la API de Gnip PowerTrack que me requiere conectarme a una transmisión HTTPS de JSON con autenticación básica. Siento que esto debería ser bastante trivial, así que espero que algún rubí que sea más inteligente que yo pueda señalar mi obvio error.

Aquí hay partes pertinentes mi rubí 1.9.3 Código:

require 'eventmachine' 
require 'em-http' 
require 'json' 

usage = "#{$0} <user> <password>" 
abort usage unless user = ARGV.shift 
abort usage unless password = ARGV.shift 
GNIP_STREAMING_URL = 'https://stream.gnip.com:443/foo/bar/prod.json' 

http = EM::HttpRequest.new(GNIP_STREAMING_URL) 
EventMachine.run do 
    s = http.get(:head => { 'Authorization' => [user, password], 'accept' => 'application/json', 'Accept-Encoding' => 'gzip,deflate' }, :keepalive => true, :connect_timeout => 0, :inactivity_timeout => 0) 

    buffer = "" 
    s.stream do |chunk| 
    buffer << chunk 
    while line = buffer.slice!(/.+\r?\n/) 
     puts JSON.parse(line) 
    end 
    end 
end 

se conecta la corriente (Mi tablero Gnip repors una conexión), pero luego sólo tampones y nunca da salida a nada. De hecho, parece que nunca entra en el bloque s.stream do... Tenga en cuenta que esta es una secuencia codificada GZip.

Tenga en cuenta que esto funciona:

curl --compressed -uusername $GNIP_STREAMING_URL 

EDIT: Estoy seguro de que esto es algo implícito, pero no puedo dar ninguna creds de inicio de sesión o la dirección URL real, así que no pregunte;)

EDIT # 2: yajl-ruby probablemente funcionaría si pudiera averiguar cómo codificar las credenciales para la URL (la simple codificación URL no parece funcionar ya que fallo en la autenticación con Gnip).

EDIT # 3: @rweald descubrió que em-http no es compatible con la transmisión de gzip, aquí he creado un problema de GitHub.

EDIT # 4: He bifurcado y reparado esto en em-http-request, puede marcar my fork si desea usar em-http de esta manera. El parche se fusionó con el repositorio del mantenedor y estará funcionando en la próxima versión.

EDIT # 5: Mis correcciones se han publicado en em-http-request 1.0.3, por lo que ya no debería ser un problema.

Answer 1

El problema se encuentra dentro de em-petición http. Si nos fijamos en https://github.com/igrigorik/em-http-request/blob/master/lib/em-http/decoders.rb

Usted se dará cuenta de que el descompresor GZIP no puede hacer streaming de descompresión :( https://github.com/igrigorik/em-http-request/blob/master/lib/em-http/decoders.rb#L100

Usted tendría que solucionar el problema de streaming gzip subyacente si desea ser capaz de leer una secuencia utilizando em-petición http

Answer 2

se ve como el uso de https://github.com/brianmario/yajl-ruby resolvería esta muy bien

Answer 3

Gnip sugirió que usara curb y esto es lo que ocurrió con su ejemplo:

require 'rubygems' 
require 'curb' 

# Usage: <script> username password url 
# prints data to stdout. 
usage = "#{$0} <user> <password> <url>" 
username, password, url = ARGV.first 3 

Curl::Easy.http_get url do |c| 
    c.http_auth_types = :basic 
    c.username = username 
    c.password = password 
    c.encoding = 'gzip' 
    c.on_body do |data| 
    puts data 
    data.size # required by curl's api. 
    end 
end 

Aunque me gustaría algo que se vuelva a conectar cuando se interrumpa la conexión y maneje diferentes tipos de fallas con elegancia.

Answer 4

He estado utilizando algunos códigos base de este Gist para conectarme a la consola Gnip. https://gist.github.com/1468622