Importar datos de URL

Question

El St. Louis Banco de la Reserva Federal tiene un gran conjunto de datos disponibles en una variedad de sus páginas web, tales como:

http://research.stlouisfed.org/fred2/series/OILPRICE/downloaddata?cid=32217 http://www.federalreserve.gov/releases/h10/summary/default.htm http://research.stlouisfed.org/fred2/series/DGS20

Los conjuntos de datos se actualizan , algunos tan a menudo como todos los días. Tiendo a interesarme en los datos diarios (consulte la configuración anterior en las URL)

Me gustaría importar estos tipos de flujo de datos de precio o velocidad (accesibles como archivos CSV o Excel en las URL anteriores) directamente en Mathematica.

He revisado la documentación sobre Importar [], pero encuentro poca documentación (en realidad ninguna) sobre cómo hacer algo como esto.

Parece que necesito navegar a las páginas, enviar algunos datos para seleccionar archivos y formatos específicos, activar la descarga y luego acceder a los datos descargados desde mi máquina. Aún mejor si pudiera acceder a los datos directamente desde los sitios.

Tenía la esperanza de que Wolfram Alpha pudiera facilitar este tipo de cosas, pero no he tenido ningún éxito.

FinancialData[] parece natural para este tipo de cosas, pero no veo de todos modos para hacerlo. Los datos financieros tienen muchas características, pero no veo una manera de obtener este tipo de cosas.

¿Alguien tiene alguna experiencia con esto o alguien puede señalarme en la dirección correcta?

Answer 1

Puede Import directamente desde una URL. Por ejemplo, los datos de federalreserve.gov pueden obtenerse y visualizarse de la siguiente manera.

url = "http://www.federalreserve.gov/datadownload/Output.aspx?"; 
url = url<>"rel=H10&series=a660e724c705cea4b7bd1d1b85789862&lastObs=&"; 
url = url<>"from=&to=&filetype=csv&label=include&layout=seriescolumn"; 
data = Import[url, "CSV"]; 
DateListPlot[data[[7 ;;]], Joined -> True] 

Rompí url por conveniencia, ya que es tan larga. Tuve que examinar el contenido de data antes de saber exactamente cómo trazarlo, un paso que normalmente es necesario. Estoy seguro de que los datos de stlouisfed.org se pueden obtener de una manera similar, pero requiere el uso de una API con clave para acceder a ella.

Answer 2

Como dijo Mark, puede obtener los datos directamente de una URL. Sus datos de petróleo pueden ser importados de un URL diferente del que tenía:

http://research.stlouisfed.org/fred2/data/OILPRICE.txt

Con esa URL, usted puede hacer esto:

oil = Import["http://research.stlouisfed.org/fred2/data/OILPRICE.txt", 
"Table", "HeaderLines" -> 12, "DateStringFormat" -> {"Year", "Month", "Day"}]; 
DateListPlot[oil, Joined -> True, PlotRange -> All] 

Tenga en cuenta que "HeaderLines" -> 12 tiras opción Desactivado el texto del encabezado en las primeras 12 líneas (debe contar las líneas del encabezado para saber cuántas eliminar). También he especificado el formato de fecha.

Para encontrar esa URL, haga lo que hizo antes, pero haga clic en una serie de datos y luego seleccione Ver datos en el menú de la izquierda cuando vea la tabla.

Answer 3

La documentación tiene un pequeño ejemplo en la extracción de los datos de una página web:

http://reference.wolfram.com/mathematica/howto/CleanUpDataImportedFromAWebsite.html

Por supuesto, lo que realmente se necesita hacer variará significativamente de una página a otra.

Answer 4

discusión sobre cómo hacer esto con su clave de API aquí:

http://library.wolfram.com/infocenter/MathSource/7583/

la función se basa en la documentación de la API. No he visto el código durante un par de años y desde la memoria lo armé bastante rápido pero lo he usado regularmente durante más de 2 años sin problemas. Este es un ejemplo para las ventas al por menor desestacionalizados no mensuales desde principios de 1992 hasta ahora:

Wolfram Alpha también utiliza datos FRED por lo que podría usar eso como una alternativa a la importación directa, pero es más difícil de conseguir la consulta correcta. Prefiero usar FRED directamente. También desde la memoria, los datos solo están disponibles en alfa el día posterior a la publicación, que no es lo que normalmente querría.