amazon-emr

6El calor

2Respuesta

Tengo un trabajo de transmisión EMR (Python) que normalmente funciona bien (por ejemplo, 10 máquinas que procesan 200 entradas). Sin embargo, cuando lo funciono contra grandes conjuntos de datos (12 m

5El calor

3Respuesta

¿Es posible ejecutar hadoop fs -getmerge en S3?

Tengo un trabajo Elastic Map Reduce que está escribiendo algunos archivos en S3 y quiero concatenar todos los archivos para producir un archivo de texto único. Actualmente estoy copiando manualmente l

6El calor

1Respuesta

Múltiples archivos como entrada en Amazon Elastic MapReduce

Estoy intentando ejecutar un trabajo en Elastic MapReduce (EMR) con un jar personalizado. Estoy tratando de procesar unos 1000 archivos en un solo directorio. Cuando envío mi trabajo con el parámetro

17El calor

1Respuesta

Amazon Elastic MapReduce: la inserción masiva de S3 a DynamoDB es increíblemente lenta

Necesito realizar una carga inicial de aproximadamente 130 millones de elementos (5+ Gb en total) en una sola tabla DynamoDB. Después de enfrentar problems con subirlos usando la API de mi aplicación,

9El calor

3Respuesta

Amazon EC2 frente a Amazon EMR

Implementé una tarea en Hive. Actualmente funciona bien en mi clúster de nodo único. Ahora planeo desplegarlo en AWS. No sé nada sobre el AWS. Si planeo desplegarlo, ¿qué debería elegir Amazon EC2 o A