Lote de lotes FlatFileItemReader leer varios archivos

Question

Según spring batch docs no se recomienda utilizar MuliResourceItemReader debido a un problema de reinicio y se recomienda utilizar un archivo en cada carpeta.

"Debe tenerse en cuenta que, como con cualquier ItemReader, añadiendo entrada adicional (en este caso un archivo) podría causar problemas potenciales cuando se reinicia. Se se recomienda que los trabajos por lotes a trabajar con sus propios directorios individuales hasta que se complete con éxito ".

Si tengo una carpeta con el siguiente estructura dest/< timestamp> /file1.txt, file2.txt

¿Cómo se configura FlatFileItemReader para leer un archivo con el patrón para cada carpeta en una ruta.

Answer 1

Preferiría el proyecto Spring Integration para leer archivos de un directorio ya que no es asunto de Spring Batch Framework sondear un directorio.

En el escenario más básico, Spring Integration buscará los archivos en el directorio, y para cada archivo ejecutará un trabajo con el nombre de archivo como parámetro. Esto dejará fuera la lógica de sondeo de archivos de sus trabajos por lotes.

Sugiero este excellent article por Dave Syer para los conceptos básicos de la integración de estas dos tecnologías. Mire de cerca las secciones que tratan con FileToJobLaunchRequestAdapter

Source code de este adaptador también ayudará a comprender las partes internas.

Answer 2

También obtuve un conjunto similar de requisitos para leer varios archivos de texto/csv y lo logré utilizando org.springframework.batch.item.file.MultiResourceItemReader.

La implementación detallada se proporciona en el siguiente enlace.

http://parameshk.blogspot.in/2013/11/spring-batch-flat-file-reader-reads.html