Programación de Ruby Parallel/Multithread para leer la gran base de datos

Question

Tengo un script de ruby ​​leyendo una tabla enorme (~ 20m filas), haciendo un poco de procesamiento y llevándolo a Solr para fines de indexación. Esto ha sido un gran cuello de botella en nuestro proceso. Estoy planeando acelerar las cosas aquí y me gustaría lograr algún tipo de paralelismo. Estoy confundido acerca de la naturaleza multithreading de Ruby. Nuestros servidores tienen ruby 1.8.7 (2009-06-12 patchlevel 174) [x86_64-linux]. Desde this blog post y this question at StackOverflow, es visible que Ruby no tiene un enfoque de enhebrado múltiple "real". Nuestros servidores tienen múltiples núcleos, por lo que usar parallel gem parece ser otro enfoque para mí.

¿Qué enfoque debo seguir? Además, cualquier entrada en sistemas paralelos de lectura de bases de datos sería muy apreciada.

Answer 1

¿Alguna posibilidad de actualizar a Ruby 1.9? Por lo general, es más rápido que 1.8.7.

Es cierto que Ruby sufre de tener un GIL, pero si el multihebra resolvería su problema, entonces puede echarle un vistazo a JRuby ya que admite el enhebrado verdadero.

También es mejor que se asegure de que la CPU sea el cuello de botella, porque si es multitarea de E/S puede que no le compre mucho.

Answer 2

Puede paralelizar esto en el nivel del sistema operativo. Cambiar la secuencia de comandos para que se pueda adoptar una serie de líneas de su archivo de entrada

$ reader_script --lines=10000:20000 mytable.txt 

A continuación, ejecute varias instancias de la secuencia de comandos.

$ reader_script --lines=0:10000 mytable.txt& 
$ reader_script --lines=10000:20000 mytable.txt& 
$ reader_script --lines=20000:30000 mytable.txt& 

Unix los distribuirá a diferentes núcleos automáticamente.