java descarga varios archivos usando subprocesos

Question

Estoy tratando de descargar varios archivos que coinciden con un patrón usando subprocesos. El patrón podría coincidir con 1 o 5 o 10 archivos de tamaños de diferencia.

digamos por simplicidad, el código real que se descargaría está en el método downloadFile() y fileNames es la lista de nombres de archivos que coinciden con el patrón. ¿Cómo hago esto usando hilos? Cada hilo descargará solo un archivo. ¿Es aconsejable crear un nuevo hilo dentro del ciclo for?

for (String name : fileNames){ 
    downloadFile(name, toPath); 
} 

Answer 1

Usted realmente desea utilizar un ExecutorService en lugar de hilos individuales, es mucho más limpio, probablemente con más prestaciones y le permitirá para cambiar las cosas con más facilidad posteriormente (el número de hilos de rosca, nombres, etc.):

ExecutorService pool = Executors.newFixedThreadPool(10); 
for (String name : fileNames) { 
    pool.submit(new DownloadTask(name, toPath)); 
} 
pool.shutdown(); 
pool.awaitTermination(Long.MAX_VALUE, TimeUnit.MILLISECONDS); 
// all tasks have now finished (unless an exception is thrown above) 

Y en algún otro lugar en su clase de definir el caballo de batalla real DownloadTask:

private static class DownloadTask implements Runnable { 

    private String name; 
    private final String toPath; 

    public DownloadTask(String name, String toPath) { 
     this.name = name; 
     this.toPath = toPath; 
    } 

    @Override 
    public void run() { 
     // surround with try-catch if downloadFile() throws something 
     downloadFile(name, toPath); 
    } 
} 

El método shutdown() tiene un nombre muy confuso, ya que "permitirá que las tareas presentadas anteriormente a ejecutar antes de terminar". awaitTermination() declara un InterruptedException que necesita manejar.

Answer 2

Sí, puede crear los hilos en línea.

for (final String name : fileNames){ 
    new Thread() { 
     public void run() { 
      downloadFile(name, toPath); 
     } 
    }.start(); 
} 

Answer 3

Sí, ciertamente podría crear un nuevo hilo dentro del for-loop. Algo como esto:

List<Thread> threads = new ArrayList<Thread>(); 
for (String name : fileNames) { 
    Thread t = new Thread() { 
    @Override public void run() { downloadFile(name, toPath); } 
    }; 
    t.start(); 
    threads.add(t); 
} 
for (Thread t : threads) { 
    t.join(); 
} 
// Now all files are downloaded. 

También debe considerar el uso de un Executor, por ejemplo, en un grupo de subprocesos creado por Executors.newFixedThreadPool(int).

Answer 4

Use Executor, Pruebe esto.

ExecutorService exec= Executors.newCachedThreadPool() 
for (String name : fileNames){ 
exec.submit(new Runnable() 
{ 
    public void run() 
    { 
    downloadFile(name, toPath); 
    } 
}); 
} 

Si quiere decir tres de descarga en ejecución al mismo tiempo, puede utilizar:

Executors.newFixedThreadPool(3) 

Answer 5

Todo el enfoque mencionado anteriormente crea subprocesos, pero el Concurreny real no se logra.

ExecutorService pool = Executors.newFixedThreadPool(5); 
final File folder = new File("YOUR_FILES_PATH"); 
int l = folder.listFiles().length; 
System.out.println("Total Files----"+folder.listFiles().length); 
long timeStartFuture = Calendar.getInstance().getTimeInMillis(); 
    pool.execute(new DownloadFile(folder,0,l/2)); 
    pool.execute(new DownloadFile(folder,(l/2),l)); 
    pool.shutdown(); 
    try { 
     pool.awaitTermination(Long.MAX_VALUE, TimeUnit.MILLISECONDS); 
    } catch (InterruptedException e) { 
     // TODO Auto-generated catch block 
     e.printStackTrace(); 
    } 

    long timeEndFuture = Calendar.getInstance().getTimeInMillis(); 
    long timeNeededFuture = timeEndFuture - timeStartFuture; 
    System.out.println("Parallel calculated in " + timeNeededFuture + " ms"); 

El programa anterior se utiliza para lograr concurreny y modifique según sus necesidades.