Registro/registro rápido de datos en una hebra separada en C#

Question

Estamos desarrollando una aplicación que lee continuamente datos de varios dispositivos de hardware externos. La velocidad de datos está entre 0.5MB - 10MB/seg, dependiendo de la configuración del hardware externo.

La lectura de los dispositivos externos se está realizando actualmente en un BackgroundWorker. Tratar de escribir los datos adquiridos en el disco con este mismo BackgroundWorker no parece ser una buena solución, entonces lo que queremos hacer es poner estos datos en cola para ser escritos en un archivo y tener otro hilo para delectar los datos y escribir en un archivo. Tenga en cuenta que habrá un solo productor y un solo consumidor para los datos.

Estamos pensando en utilizar una cola sincronizada para este fin. Pero pensamos que esta rueda ya debe haber sido inventada muchas veces, por lo que deberíamos pedirle a la comunidad de SO que nos dé su opinión.

Cualquier sugerencia o comentario sobre las cosas que debemos tener en cuenta sería apreciada.

Answer 1

Estoy bastante seguro de que su cola será más o menos bien. Pero asegúrese de utilizar un método eficiente de almacenamiento/recuperación de datos para no revisar su procedimiento de registro con asignación/desasignación de memoria. Me gustaría obtener un búfer de memoria preasignado y usarlo como una cola circular.

Answer 2

Ha intentado MSMQ

Answer 3

puede ser necesario queing

por ejemplo. código

protected Queue<Byte[]> myQ; 
or 
protected Queue<Stream> myQ; 

//when u got the content try 
myQ.Enque(...); 

y utilizar otro hilo para hacer estallar la cola

// another thread 
protected void Loging(){ 
while(true){ 
    while(myQ.Count > 0){ 
    var content = myQ.Dequeue(); 
    // save content 
    } 
    System.Threading.Thread.Sleep(1000); 
} 
} 

Answer 4

haría lo que una combinación de lo que hace el sr 888.

Básicamente en usted tiene 2 trabajadores de fondo, que lee desde el dispositivo de hardware. uno que escribe los datos en el disco.

Hardware fondo trabajador:
Añade mandriles en los datos en el hardware en el Queue<>. En el formato que lo tienes en.

escritura fondo trabajador
analiza los datos si es necesario y vuelca en el disco.

Una cosa a considerar aquí es, ¿es obtener la información del hardware en el disco lo más rápido posible?
En caso afirmativo, entonces tendría la prueba write brackground básicamente en un bucle con un sueño de 100ms o 10ms en el ciclo while con comprobación de si el que tiene datos.
Si no, entonces lo haría dormir una cantidad similar (suponiendo que la velocidad que obtiene de su hardware cambia periódicamente) y escribir solo en el disco cuando tiene alrededor de 50-60mb de datos. Consideraría hacerlo de esta manera porque los discos duros modernos pueden escribir aproximadamente 60mb pr segundos (este es un disco duro de escritorio, su empresa una vez podría ser mucho más rápida) y constantemente escribir datos en pequeños mandriles es una pérdida de ancho de banda IO.

Answer 5

que tienen una situación similar, En mi caso he utilizado una cola lockfree asíncrono con un objeto sincrónica LIFO Básicamente los hilos que escriben en la cola de establecer el objeto de sincronización en la LIFO, mientras que los otros hilos de los trabajadores 'reset la sincronización objeto en el LIFO Hemos arreglado el número de objetos de sincronización que son iguales a los hilos. La razón para usar un LIFO es mantener el mínimo número de subprocesos en ejecución y un mejor uso del sistema de caché.