¿Cómo puedo acelerar las generaciones de array en Python?

Question

Estoy pensando que necesito usar Numpy o alguna otra biblioteca para llenar estos arreglos lo suficientemente rápido pero no sé mucho al respecto. En este momento, esta operación lleva aproximadamente 1 segundo en una PC Intel de cuatro núcleos, pero necesito que sea lo más rápido posible. Cualquier ayuda es muy apreciada. ¡Gracias!

import cv 

class TestClass: 

    def __init__(self): 

    w = 960 
    h = 540 

    self.offx = cv.CreateMat(h, w, cv.CV_32FC1) 
    self.offy = cv.CreateMat(h, w, cv.CV_32FC1) 

    for y in range(h): 
     for x in range(w): 
     self.offx[y,x] = x 
     self.offy[y,x] = y 

Answer 1

Está generando medio millón de enteros y creando más de un millón de referencias mientras lo hace. Solo me alegra que solo tome 1 segundo.

Si está haciendo esto mucho, debería pensar en formas de almacenar en caché los resultados.

Además, estar en un quad-core algo no ayuda en un caso como este, estás realizando una operación en serie que solo puede ejecutarse en un núcleo a la vez (e incluso si lo enhebraste, CPython puede solo ejecutar un hilo de Python puro a la vez debido al bloqueo de Intérprete global).

Answer 2

Mi computadora de ocho años (lenta) puede crear una lista de listas del mismo tamaño que su matriz en 127 milisegundos.

C:\Documents and Settings\gdk\Desktop>python -m timeit "[[x for x in range(960)] 
for y in range(540)]" 
10 loops, best of 3: 127 msec per loop 

No sé qué es el módulo cv y cómo crea las matrices. Pero tal vez esta es la causa del código lento.

Numpy puede ser más rápido. Creación de una matriz de (Python int) 1s:

C:\Documents and Settings\gdk\Desktop>python -m timeit -s "from numpy import one 
s" "ones((960, 540), int)" 
100 loops, best of 3: 6.54 msec per loop 

Es posible comparar los tiempos para crear matrices utilizando diferentes módulos para ver si hay un beneficio para el cambio: timeit module

Answer 3

Si va a crear la misma matriz una y otra vez, puede ser más rápido inicializarlo usando cv.SetData()

Answer 4

Bueno, al menos puede usar xrange en lugar de rango. rango crea una lista completa de todos esos números. xrange los genera de 1 en 1. Como solo los está usando uno a la vez, no necesita una lista de ellos.

Answer 5

El código en Numpy que hace exactamente lo que hizo en OpenCV Python es

import numpy as np 
offsetx, offsety = np.meshgrid(range(960),range(540)) 

Si está utilizando Python, considere el aprendizaje de las diferentes funciones de numpy le ayudará enormemente. Las funciones de OpenCV también pueden trabajar directamente con matrices numpy. Sin embargo, la sintaxis de numpy en Python es mucho mejor que OpenCV.

Aquí es decir son los tiempos de las dos versiones en mi i7

time python test.py 

real 0m0.654s 
user 0m0.640s 
sys 0m0.010s 

Mi versión:

time python test2.py 

real 0m0.075s 
user 0m0.060s 
sys 0m0.020s 

Answer 6

no entendía completamente lo que estaba tratando de lograr. Pero aquí hay dos ejemplos concretos y puntos de referencia que pueden ayudarle. Ambos hacen lo mismo, llenan una imagen de 960x540 (matriz) con rojo.

lento.py utiliza para bucles para llenar gama

import cv2 
import numpy as np 

width, height = 960, 540 
image = np.zeros((height, width, 3), np.uint8) 
# Fill array with red 
for y in range(height): 
    for x in range(width): 
     image[y, x] = (0, 0, 255) 

cv2.imwrite('red.jpg', image) 

Duración

$ time python slow.py 
real 0m2.240s 
user 0m2.172s 
sys 0m0.040s 

fast.py utiliza para llenar numpy gama

import cv2 
import numpy as np 

width, height = 960, 540  
image = np.zeros((height, width, 3), np.uint8) 
# Fill array with red 
image[:] = (0, 0, 255) 
cv2.imwrite('red.jpg', image) 

Duración

$ time python fast.py 
real 0m0.134s 
user 0m0.084s 
sys 0m0.024s 

Usando numpy en lugar de los bucles es casi 17 veces más rápido