me gusta mucho la construcciónScala - iterador sobre todas las líneas de los ficheros en un directorio
for (line <- Source fromFile inputPath getLines) {doSomething line}
para iterar sobre un archivo en Scala y estoy preguntando si hay una manera de utilizar una construcción similar a la iteración sobre las líneas en todos los archivos en un directorio.
Una restricción importante aquí es que todos los archivos se suman a una cantidad de espacio que generaría un desbordamiento de heap. (Piensa decenas de GB, por lo que el aumento de tamaño de la pila no es una opción) Como solución, por el momento, he estado cat'ing todos juntos en un solo archivo y el uso de la construcción anterior que funciona b/c de la pereza. ser
punto, esto parece plantear preguntas como .. puedo concatenar dos (cien) iteradores perezosos y conseguir una muy grande, muy vago?
que es perfecto, sólo funcionó durante alrededor de 10 GB de archivos utilizando el repl Scala con un bit de código basado en eso y el uso de la memoria apenas se movieron. ¡Muchas gracias! –
Tenga en cuenta, sin embargo, que la 'Fuente' de cada archivo no se cierra. En este caso particular, donde el código puede tocar cientos de archivos, es importante usar algún tipo de ARM. –