Conjuntos de datos grandes y gratuitos para experimentar con Hadoop

Question

¿Conoce algún conjunto de datos de gran tamaño para experimentar con Hadoop que sea gratuito/de bajo costo? Se aprecian todos los indicadores/enlaces relacionados.

prefernce:

• Al menos uno GB de datos.

• Datos de registro de producción del servidor web.

Pocos de ellos que he encontrado hasta ahora:

1. Wikipedia dump

2. http://wiki.freebase.com/wiki/Data_dumps

3. http://aws.amazon.com/publicdatasets/

También podemos ejecutar nuestro propio rastreador para recopilar datos de sitios, p. Wikipedia? También se agradece cualquier sugerencia sobre cómo hacer esto.

Answer 1

Algunos puntos sobre su pregunta sobre el rastreo y la wikipedia.

Ha vinculado al wikipedia data dumps y puede usar el proyecto Cloud9 de UMD para trabajar con estos datos en Hadoop.

tienen una página en este: Working with Wikipedia

Otra fuente de datos para añadir a la lista es:

• ClueWeb09 - 1 mil millones de páginas recogidas entre enero y febrero 09. Comprimido 5 TB.

El uso de un rastreador para generar datos debe publicarse en una pregunta separada sobre Hadoop/MapReduce, diría yo.

Answer 2

Una fuente obvia: the Stack Overflow trilogy data dumps. Estos están disponibles gratuitamente bajo la licencia de Creative Commons.

Answer 3

No es ningún archivo de registro, pero tal vez usted podría utilizar el archivo planeta de OpenStreetMap: http://wiki.openstreetmap.org/wiki/Planet.osm

licencia CC, alrededor de 160 GB (sin embalaje)

Hay archivos también más pequeños para cada continente: http://wiki.openstreetmap.org/wiki/World

Answer 4

Ésta es una colección de 189 conjuntos de datos para la máquina de aprendizaje (que es una de las mejores aplicaciones para hadoop g): http://archive.ics.uci.edu/ml/datasets.html