python multiprocessing pickle protocol

Question

Estoy utilizando el módulo de multiprocesamiento de Python para colocar objetos en una cola y que varios trabajadores los procesen. Mi primer problema fue obtener los métodos de instancia enlazados para encuadrar, que he estado trabajando, pero ahora me encuentro con un problema separado causado por el hecho de que los objetos están usando __slots__.

Cuando el módulo mp va a recortar los objetos, parece estar utilizando el protocolo asali pickle más antiguo, que no puede manejar __slots__. El protocolo más nuevo maneja esto, pero no estoy seguro de cómo hacer que el módulo mp use este protocolo.

¿Alguien tiene alguna experiencia con esto?

Answer 1

Si no es posible cambiar el protocolo pickle utiliza el paquete de multiprocesamiento, a continuación, definir __getstate__ y __setstate__ para sus objetos:

import pickle 

class Foo(object): 
    __slots__ = ['this', 'that', 'other'] 

    def __init__(self): 
     self.this = 1 
     self.that = 2 
     self.other = 3 

    def __getstate__(self): 
     return dict((name, getattr(self, name)) 
        for name in self.__slots__) 

    def __setstate__(self, state): 
     for name, value in state.items(): 
      setattr(self, name, value) 

pickle.dumps(Foo(), protocol=0)