¿Cómo se pueden inicializar los trabajadores con doSMP?

Question

¿Hay alguna forma de inicializar un clúster doSMP similar a clusterEvalQ y clusterExport en el paquete de nieve? Por ejemplo:

x <- 1:10 
y <- 10:1 
z <- rnorm(10) 
cl <- makeSOCKcluster(2) 
clusterEvalQ(cl, library(quantmod)) 
clusterExport(cl, list("x","y","z")) 
clusterEvalQ(cl, ls()) 
clusterEvalQ(cl, search()) 

hay una opción initEnvir a doSMP, pero ?doSMP dice

‘initEnvir’ is a function to be executed by each worker before any 
tasks are executed associated with a foreach. Its purpose is to 
initialize the execution environment, or the worker in general. 
It is only executed by a worker if that worker executes at least 
one task associated with the foreach. 

Cada trabajador necesita una copia de varios objetos de gran tamaño con el fin de ejecutar la expresión lanzo foreach. Además, necesito llamar al foreach varios cientos de veces, con versiones idénticas de estos objetos grandes. Sería ineficiente copiar estos objetos para cada llamada al foreach.

Incluso si no hay una forma preconfigurada para hacer esto, agradecería un poco.

Answer 1

El primer argumento para foreach es ... que transporta los objetos iterados para la evaluación de la expresión de destino. Si solo necesita una parte del objeto, puede ser más eficiente usar iter para pasar solo partes de un objeto.

w <- startWorkers(workerCount = 4) 
registerDoSMP(w) 

foreach(x=iter(x),y=iter(y),z=iter(z)) %dopar% (x*y*z) 

Los objetos en el entorno de las tarjetas están todavía disponibles:

foreach(1:10) %dopar% (x*y*z) # Somewhat repetitious # 

zed <- 20:1 
foreach(x=iter(x)) %dopar% (x*zed) 

Answer 2

Prueba esto:

library(doSMP) 
library(foreach) 
w <- startWorkers(workerCount = 4) 
registerDoSMP(w) 
foreach(i = 1:3) %dopar% sqrt(i) 

O usted podría utilizar doSNOW y

registerDoSNOW(cl) 

http://cran.r-project.org/web/packages/doSNOW/doSNOW.pdf

Por último, hay DOMC (no para las ventanas)

library(doMC) 
registerDoMC() 
foreach(i = 1:3) %dopar% sqrt(i) 

Todos estos tec Las hniques funcionan antes del nuevo paquete paralelo en 2.14, que creo que ha logrado cierta unificación de estas técnicas.