Lectura de flujo a un MemoryStream en múltiples hilos

Question

Estoy atrapado en un lugar. Estoy leyendo un archivo FLV desde una URL. Estoy leyendo esto en un Stream y luego escribiendo este Stream en un MemoryStream en un bucle. Cuando el código sale del ciclo, escribo todo el MemoryStream en un ByteArray y luego escribo este ByteArray en un archivo local en mi disco duro.

Como esta flv es demasiado grande, lleva mucho tiempo procesarla en el ciclo. Estoy pensando en leer la secuencia grande original en MemoryStream en varios hilos. Eso significa dividir el flujo en, por ejemplo, 10 partes y escribir estas partes en MemoryStream en varios hilos. ¿Cómo hago esto?

Adjunto mi código.

//Get a data stream from the url 
       WebRequest req = WebRequest.Create(url); 
       WebResponse response = req.GetResponse(); 
       using (Stream stream = response.GetResponseStream()) 
       { 
        //Download in chuncks 
        byte[] buffer = new byte[1024]; 

        //Get Total Size 
        int dataLength = (int)response.ContentLength; 



        //Download to memory 
        //Note: adjust the streams here to download directly to the hard drive 
        using (MemoryStream memStream = new MemoryStream()) 
        { 
         while (true) 
         { 
          //Try to read the data 
          int bytesRead = stream.Read(buffer, 0, buffer.Length); 

          if (bytesRead == 0) 
          { 
           Application.DoEvents(); 
           break; 
          } 
          else 
          { 
           //Write the downloaded data 
           memStream.Write(buffer, 0, bytesRead); 
          } 
         } 

         //Convert the downloaded stream to a byte array 
         byte[] downloadedData = memStream.ToArray(); 
        } 


       } 

Cualquier ayuda se agradece Gracias

Answer 1

usted no será capaz de acelerar la descarga mediante el uso de múltiples hilos. El factor limitante aquí no es qué tan rápido su computadora puede procesar los datos, sino qué tan rápido los datos provienen del servidor.

En lugar de tratar de acelerar esto usando varios hilos, sugiero que cree un WebClient en lugar de WebRequest. A continuación, puede llamar al WebClient.DownloadDataAsync para descargar datos en la memoria en segundo plano, o llamar al WebClient.DownloadFileAsync para descargar directamente a un archivo.

Ninguno de estos hará que la descarga sea más rápida, pero evitará que la interfaz de usuario no responda durante la descarga.

Answer 2

Los hilos no te ayudarán aquí; vas a estar bloqueado en IO. En lugar de 1 hilo bloqueado en IO, ahora tendrá múltiples hilos bloqueados en IO. De hecho, en muchos casos, al hablar con el mismo recurso (o recursos paralelos pero relacionados) en varios hilos, disminuirá IO, más los gastos indirectos del enhebrado. Perder perder.

Además, la mayoría de las secuencias son no diseñadas para enhebrar; necesitaría un código de coordinación muy complejo para asegurarse de volver a ensamblar la secuencia en el orden correcto y no estropear el estado interno; francamente, no vale la pena.