Cómo usar la cola de multiprocesamiento en Python?

Question

Tengo muchos problemas para tratar de entender cómo funciona la cola de multiprocesamiento en python y cómo implementarla. Digamos que tengo dos módulos de Python que acceden a datos de un archivo compartido, llamemos a estos dos módulos escritor y lector. Mi plan es que el lector y el escritor coloquen las solicitudes en dos colas de multiprocesamiento separadas, y luego hagan que un tercer proceso muestre estas solicitudes en un bucle y se ejecuten como tales.

Mi problema principal es que realmente no sé cómo implementar multiprocesamiento.queue correctamente, realmente no se puede crear una instancia del objeto para cada proceso, ya que serán colas separadas, ¿cómo se asegura de que todos los procesos se relacionen con un cola compartida (o en este caso, las colas)

Answer 1

Mi problema principal es que la verdad es que no sé cómo implementar multiprocessing.queue correctamente, realmente no se puede crear una instancia del objeto para cada proceso, ya que será colas separadas , ¿cómo se asegura de que todos los procesos se relacionen con una cola compartida (o en este caso, las colas)

Este es un ejemplo simple de un lector y escritor que comparten una sola cola ... El escritor envía un montón de enteros al lector; cuando el escritor se queda sin números, envía 'DONE', que le permite al lector saber que se salga del ciclo de lectura.

from multiprocessing import Process 
from queue import Queue 
import time 

def reader(queue): 
    ## Read from the queue 
    while True: 
     msg = queue.get()   # Read from the queue and do nothing 
     if (msg == 'DONE'): 
      break 

def writer(count, queue): 
    ## Write to the queue 
    for ii in xrange(0, count): 
     queue.put(ii)    # Write 'count' numbers into the queue 
    queue.put('DONE') 

if __name__=='__main__': 
    for count in [10**4, 10**5, 10**6]: 
     queue = Queue() # reader() reads from queue 
          # writer() writes to queue 
     reader_p = Process(target=reader, args=((queue),)) 
     reader_p.daemon = True 
     reader_p.start()  # Launch reader() as a separate python process 

     _start = time.time() 
     writer(count, queue) # Send a lot of stuff to reader() 
     reader_p.join()   # Wait for the reader to finish 
     print "Sending %s numbers to Queue() took %s seconds" % (count, 
      (time.time() - _start)) 

Answer 2

en "from queue import Queue" no hay ningún módulo llamado queue, en su lugar se debe usar multiprocesamiento. Por lo tanto, debe verse como "de la cola de importación de multiprocesamiento"