Descarga de texto de Wikipedia

Question

Estoy buscando descargar el texto completo de Wikipedia para mi proyecto universitario. ¿Tengo que escribir mi propia araña para descargar esto o hay un conjunto de datos públicos de Wikipedia disponible en línea?

Para simplemente darle una visión general de mi proyecto, quiero encontrar las palabras interesantes de algunos artículos que me interesan. Pero para encontrar estas palabras interesantes, planeo aplicar tf/idf para calcular la frecuencia de los términos para cada palabra y elige las que tienen alta frecuencia. Pero para calcular el tf, necesito saber el total de ocurrencias en total de Wikipedia.

¿Cómo se puede hacer esto?

Answer 1

de Wikipedia: http://en.wikipedia.org/wiki/Wikipedia_database

Wikipedia ofrece copias gratuitas de todo el contenido disponible a los usuarios interesados. Estas bases de datos se pueden usar para duplicación, uso personal, copias de seguridad informales, uso fuera de línea o consultas a bases de datos (como Wikipedia: Mantenimiento). Todo el contenido de texto tiene licencia múltiple bajo la licencia Reconocimiento-CompartirIgual 3.0 de Creative Commons (CC-BY-SA) y la Licencia de documentación libre de GNU (GFDL). Las imágenes y otros archivos están disponibles bajo diferentes términos, tal como se detalla en sus páginas de descripción. Para obtener nuestro consejo sobre el cumplimiento de estas licencias, consulte Wikipedia: Derechos de autor.

Parece que estás de suerte también. Desde la sección de volcado:

Al 12 de marzo de 2010, el último volcado completo del idioma Inglés Wikipedia se puede encontrar en http://download.wikimedia.org/enwiki/20100130/ Este es el primer vaciado total de la Wikipedia en idioma Inglés que se han creado desde 2008. Tenga en cuenta que los vertederos más recientes (como el volcado 20100312) están incompletos.

Así los datos son sólo 9 días de edad :)

Answer 2

http://en.wikipedia.org/wiki/Wikipedia_database#Latest_complete_dump_of_english_wikipedia

Answer 3

Ver http://en.wikipedia.org/wiki/Wikipedia_database

Answer 4

Teniendo en cuenta el tamaño del vertedero, que probablemente sería mejor servido mediante la frecuencia de la palabra en el idioma Inglés, o para utilizar la MediaWiki API para sondear páginas al azar (o las páginas más consultadas). Existen marcos para construir bots basados ​​en esta API (en Ruby, C#, ...) que pueden ayudarte.

Answer 5

Si necesita una versión de sólo texto, no un XML Mediawiki, a continuación, se puede descargar desde aquí: http://kopiwiki.dsd.sztaki.hu/