¿Hay una manera fácil de extraer una función de python (o serializar de otra manera su código)?

Question

Estoy tratando de transferir una función a través de una conexión de red (usando asyncore). ¿Existe una manera fácil de serializar una función de Python (una que, al menos en este caso, no tendrá efectos secundarios) para una transferencia como esta?

que lo ideal sería tener un par de funciones similares a estos:

def transmit(func): 
    obj = pickle.dumps(func) 
    [send obj across the network] 

def receive(): 
    [receive obj from the network] 
    func = pickle.loads(s) 
    func() 

Answer 1

Puede serializar la función bytecode y luego reconstruirla en la persona que llama. El módulo marshal se puede utilizar para serializar objetos de código, que luego se pueden volver a ensamblar en una función. es decir:

import marshal 
def foo(x): return x*x 
code_string = marshal.dumps(foo.func_code) 

Luego, en el proceso a distancia (después de transferir code_string):

import marshal, types 

code = marshal.loads(code_string) 
func = types.FunctionType(code, globals(), "some_func_name") 

func(10) # gives 100 

algunas advertencias:

• formato de Marshal (cualquier bytecode pitón para el caso) no puede ser compatable entre las principales versiones de Python.

• Solo funcionará para la implementación de cpython.

• Si la función hace referencia a los valores globales (incluidos los módulos importados, otras funciones, etc.) que necesita recoger, necesitará serializarlos también, o recrearlos en el lado remoto. Mi ejemplo simplemente le da el espacio de nombre global del proceso remoto.

• Probablemente necesite hacer un poco más para soportar casos más complejos, como cierres o funciones del generador.

Answer 2

La forma más sencilla es probablemente inspect.getsource(object) (ver el inspect module) que devuelve una cadena con el código fuente de una función o una método.

Answer 3

Pyro es capaz de do this for you.

Answer 4

Todo depende de si se genera la función en tiempo de ejecución o no:

Si lo hace - inspect.getsource(object) no funcionará para las funciones generadas dinámicamente como se pone la fuente del objeto a partir de .py archivo, por lo que sólo funciona definido antes de la ejecución se puede recuperar como fuente.

Y si sus funciones se colocan de todos modos en archivos, ¿por qué no darles acceso al receptor y solo pasar nombres de módulos y funciones?

La única solución para las funciones creadas dinámicamente que puedo pensar es construir la función como una cadena antes de la transmisión, transmitir la fuente, y luego eval() en el lado del receptor.

Editar: la solución marshal se ve también muy inteligente, no sabía puede serializar algo thatn empotrados

Answer 5

Las funciones básicas utilizadas para este módulo cubre la consulta, además de obtener la mejor compresión sobre el cable; vea el código fuente instructivo:

y_serial.Módulo py :: almacén Objetos Python con SQLite

"Serialización + persistencia :: en unas pocas líneas de código, comprime y anota objetos de Python en SQLite, luego los recupera cronológicamente por palabras clave sin ningún SQL. El más útil es" estándar " módulo para una base de datos para almacenar datos sin esquema ".

http://yserial.sourceforge.net

Answer 6

El paquete cloud (PIP instalar nube) puede conservar en vinagre código arbitrario, incluyendo dependencias. Ver https://stackoverflow.com/a/16891169/1264797.

Answer 7

Salida Dill, que se extiende biblioteca de salmuera de Python para apoyar una mayor variedad de tipos, incluyendo funciones:

>>> import dill as pickle 
>>> def f(x): return x + 1 
... 
>>> g = pickle.dumps(f) 
>>> f(1) 
2 
>>> pickle.loads(g)(1) 
2 

También es compatible con las referencias a objetos en el cierre de la función:

>>> def plusTwo(x): return f(f(x)) 
... 
>>> pickle.loads(pickle.dumps(plusTwo))(1) 
3