¿Los contenedores integrados de Python son seguros para subprocesos?

Question

Me gustaría saber si los contenedores integrados de Python (list, vector, set ...) son seguros para subprocesos? ¿O necesito implementar un entorno de bloqueo/desbloqueo para mi variable compartida?

Answer 1

Debe implementar su propio bloqueo para todas las variables compartidas que se modificarán en Python. No tiene que preocuparse por leer las variables que no se modificarán (es decir, las lecturas simultáneas son correctas), por lo que los tipos inmutables (frozenset, tuple, str) son probablemente seguros, pero no haría daño. Para las cosas que va a cambiar: list, set, dict, y la mayoría de los demás objetos, debe tener su propio mecanismo de bloqueo (mientras que las operaciones in situ están bien en la mayoría de estos, los hilos pueden provocar errores súper desagradables - también podría implementar el bloqueo, es bastante fácil).

Por cierto, no sé si usted sabe esto, pero es muy fácil de bloqueo en Python - Crear un objeto threading.lock, y luego se puede adquirir/liberar de esta manera:

import threading 
list1Lock = threading.Lock() 

with list1Lock: 
    # change or read from the list here 
# continue doing other stuff (the lock is released when you leave the with block) 

En Python 2.5, do from __future__ import with_statement; Python 2.4 y antes no la tienen, así que querrá poner la adquisición()/release() llama en try:...finally: bloques:

import threading 
list1Lock = threading.Lock() 

try: 
    list1Lock.acquire() 
    # change or read from the list here 
finally: 
    list1Lock.release() 
# continue doing other stuff (the lock is released when you leave the with block) 

Some very good information about thread synchronization in Python.

Answer 2

Son seguros para subprocesos siempre que no deshabilite el GIL en el código C para el subproceso.

Answer 3

Sí, pero todavía hay que tener cuidado, por supuesto

Por ejemplo:

Si dos hilos están compitiendo para pop() de una lista con sólo un elemento, un hilo conseguir el artículo con éxito y el otra recibirá IndexError

Código como este no es seguro para subprocesos

if L: 
    item=L.pop() # L might be empty by the time this line gets executed 

debe wr ite it like this

try: 
    item=L.pop() 
except IndexError: 
    # No items left