C problema # roscado

estoy tratando de simplificar el problema de la siguiente manera,C problema # roscado

Tengo alrededor archivos de más de 100 que me gustaría leer y procesar los datos
Para los que mantengo matriz de nombres de archivo y ubicación
I desovar hilos para hacer el trabajo de lectura de archivos.

Ahora mi problema es que me gustaría asegurarme de que solo se generan 5 subprocesos a la vez, ya que 100 + subprocesos no es una buena idea.

Así que díganme qué enfoque debo usar para asegurarme de que los 5 únicos hilos funcionen a la vez y tan pronto como uno de ellos termine, se pueda iniciar uno nuevo.

Gracias a todos,

Fuente

2010-03-02 Anil Namde

Por qué el requisito de que sólo 5 hilos funcionan a la vez? – Andrew

Me gustaría que sea configurable más tarde.Por ahora me gustaría seguir con 5. –

¿Por qué no dejar que el Fx decida cuántos hilos usar? Ese es el valor predeterminado con la clase ThreadPool, y hace un buen trabajo en mi experiencia. –

Yo voto por el task parallel library/Rx (incluido en .NET 4.0, pero descargable para 3.5):

 var options = new ParallelOptions(); 
     options.MaxDegreeOfParallelism = 5; 

     Parallel.ForEach(GetListOFiles(), options, (file) => 
     { 
      DoStuffWithFile(file); 
     });

Tenga en cuenta que esto va a usar hasta 5 hilos, pero he visto que consumen menos.

Fuente

2010-03-02 07:45:21 ligos

Divida su lista de archivos en 5 listas de tamaños iguales. A continuación, iniciar cinco hilos, y pasar cada lista más pequeño separado a través de ParameterizedThreadStart.

Sin embargo, dado que el trabajo está casi totalmente vinculado a E/S, es poco probable que este proceso se beneficie del enhebrado.

Fuente

2010-03-02 05:11:08

@Sam: No estoy tan seguro de no tener beneficios de I/O multiproceso. No hay datos de archivo a copiar todo en la memoria, el sistema operativo tiene un mejor conocimiento de la lectura y podría optimizar, el disco podría apoyar paralelo IO (RAID?), Etc. Por supuesto, no se puede decir hasta que realmente medimos, por lo que es prematuro decir algo al respecto. –

Usted debe echar un vistazo a la

system.threading.threadpool.setmaxthreads

Fuente

2010-03-02 05:11:31 rerun

Usar setmaxthreads no es realmente recomendable, a menos que realmente sepas lo que estás haciendo. Está limitando el grupo de subprocesos compartido y las bibliotecas que usa pueden terminar siendo afectadas por él. –

Di esto a -1, porque generalmente es una mala práctica usar esto. –

Haga su procesamiento a través de ThreadPool, luego SetMaxThreads

http://msdn.microsoft.com/en-us/library/system.threading.threadpool.setmaxthreads.aspx

Fuente

2010-03-02 05:13:30 donjay

Usar setmaxthreads no es realmente recomendable, a menos que realmente sepa lo que está haciendo. Estás limitando el _shared_ threadpool y las bibliotecas que usas pueden terminar siendo afectadas por él. –

Di esto a -1, porque generalmente es una mala práctica usar esto. –

Aunque esto podría no responder a su pregunta directamente, pero parece que a producer-consumer design se ajustaría a sus necesidades. Además, this podría ayudar.

Fuente

2010-03-02 05:29:55

por lo general hago este enfoque:

declara una variable entera compartida para denotar el número de hilos de trabajo. Cuando se asigna un trabajo a un hilo (sólo en cola el trabajo en ThreadPool), aumente el valor. Cuando un hilo completa el trabajo, disminuya el valor.

Asegurarse de decremento o incremento del valor entero como atómico.

En el despachador de trabajos, busque un trabajo y asigne un hilo solo si el número de hilos de trabajo es menor que el valor máximo. De lo contrario, espere una señal (que será activada por un hilo de trabajo que complete un trabajo). Si desea que el evento sea más simple, deje que el despachador simplemente haga un bucle vacío para esperar.

Lo bueno es que el valor máximo es configurable y aprovecha la ventaja del ThreadPool incorporado. Escribir un modelo de consumidor/productor para resolver un problema tan pequeño es costoso.

Fuente

2010-03-02 06:15:09

Respuesta

Cuestiones relacionadas