Uso de nieve (y nieve) con AWS para procesamiento paralelo en R

Question

En relación con mi anterior similar SO question, traté de usar nieve/nieve en AWS para computación en paralelo.

Lo que hice fue:

• En la función sfInit(), que proporcionan el DNS público a socketHosts parámetro al igual que sfInit(parallel=TRUE,socketHosts =list("ec2-00-00-00-000.compute-1.amazonaws.com"))
• El error devuelto fue Permission denied (publickey)
• entonces he seguido las instrucciones (I presume correctamente!) en http://www.imbi.uni-freiburg.de/parallel/ en la sección de 'Inicio de sesión seguro sin contraseña (SSH)'
• Acabo de cat el contenido del archivo .pem que creo Ted en AWS en el ~/.ssh/authorized_keys de la instancia AWS quiero conectar a mi maestro de instancia AWS y para la instancia principal de AWS, así

¿Hay algo que estoy perdiendo? Estaría muy agradecido si los usuarios pueden compartir sus experiencias en el uso de la nieve en AWS.

Muchas gracias por sus sugerencias.

ACTUALIZACIÓN: sólo quería actualizar la solución que encontré a mi problema específico:

• Solía ​​StarCluster configurar mi grupo de AWS: StarCluster
• paquete instalado snowfall en todos los nodos del clúster
• Desde el nodo maestro emitió los siguientes comandos
• hostslist <- list("ec2-xxx-xx-xxx-xxx.compute-1.amazonaws.com","ec2-xx-xx-xxx-xxx.compute-1.amazonaws.com")
• sfInit(parallel=TRUE, cpus=2, type="SOCK",socketHosts=hostslist)
• l <- sfLapply(1:2,function(x)system("ifconfig",intern=T))
• lapply(l,function(x)x[2])
• sfStop()
• la información de IP confirmó que los nodos de AWS se estaban utilizando

Answer 1

creo @Anatoliy es correcto: está usando un certificado X.509. Para obtener los pasos precisos para agregar las claves SSH, consulte la sección "Tipos de credenciales" del EC2 Starters Guide.

Para cargar sus propias claves SSH, eche un vistazo a this page from Alestic.

Al principio es un poco confuso, pero querrá mantener en claro cuáles son sus claves de acceso, sus certificados y sus pares de claves, que pueden aparecer en los archivos de texto con DSA o RSA.

Answer 2

Parece que no está mal pero el archivo PEM es incorrecto. Pero a veces no es tan simple y muchas personas tienen que luchar con este problema. Una gran cantidad de consejos que usted puede encontrar en este post:

• https://forums.aws.amazon.com/message.jspa?messageID=241341
• o control google para otros puestos.

Desde mi experiencia la mayoría de la gente tiene problemas en los siguientes pasos:

• ¿Puede usted se conecte con las máquinas a través de SSH? (ssh ec2-00-00-00-000.compute-1.amazonaws.com). Intenta usar el DNS público, no la IP pública para conectarte.
• ¡Debe verificar sus "Grupos de seguridad" en AWS si el puerto 22 está abierto para todas las máquinas!

Si va a iniciar más de 10 máquinas trabajador debe trabajar en una instalación de MPI en sus máquinas (rendimiento mucho mejor!)

Markus desde cloudnumbers.com :-)