Gran cantidad de datos de texto sin formato para el experimento de análisis

Question

Estoy desarrollando un analizador sintáctico en ruby ​​que analiza algunos datos de texto no uniformes. ¿Alguien puede decirme dónde puedo obtener una buena cantidad de datos de texto claro para eso?

Answer 1

Así es que obtendrá una lista de muchos:

http://www.quora.com/Data/Where-can-I-get-large-datasets-open-to-the-public

Y mi favorito es:

http://ftp.sunet.se/mirror/archive/ftp.sunet.se/pub/tv+movies/imdb/

Answer 2

Usted puede raspar Wikipedia (o simplemente ejecutar un montón de ella a través lynx -dump). Eso también le daría una gran fuente de texto que no está en inglés también. Project Gutenberg sería otra buena fuente de grandes cantidades de texto sin formato.