archivos de acceso en S3N: // elasticmapreduce/muestras/recuento de palabras/entrada

Question

¿Cómo me puedo acceder al archivo que se sienta en la siguiente carpeta del S3 que se poseen por otra persona

S3N: // elasticmapreduce/muestras/wordcount/entrada

Answer 1

El propietario de la carpeta (muy probablemente un archivo en la carpeta) debe haberla hecho accesible al lector anónimo. Si ese es el caso, S3N: // X/Y ... se traduce a http://s3.amazonaws.com/x/y ... o http://x.s3.amazonaws.com/y ...

x es el nombre de la cubeta. y ... es el camino que lleva el cubo.

Si desea asegurarse de que el archivo existe, p. si sospecha que el nombre estaba mal escrito, puede abrir su navegador para abrir http://s3.amazonaws.com/x y verá XML que describe "archivos" que son objetos S3, disponibles. Pruebe esto: http://s3.amazonaws.com/elasticmapreduce

Intenté esto y parece que la ruta que desea no es pública. La documentación de AWS EBS cita s3: // elasticmapreduce/samples/wordcount/input en uno de los ejemplos de "inicio". Pero s3 es diferente de s3n, por lo que la entrada podría estar disponible para EMR, pero no para el acceso HTTP.

Answer 2

Los archivos en s3n: // elasticmapreduce/samples/wordcount/input son públicos, y están disponibles como entrada de Amazon para el programa de conteo de palabras de muestra Hadoop. La mejor manera de buscarlos es

1. Iniciar un nuevo flujo de trabajo de Amazon Elastic MapReduce (no importa cuál) desde la consola de Amazon Web Services, y asegúrese de que se mantenga el trabajo con la vida mantener la opción Alive
2. una vez que las máquinas EC2 ya ha empezado buscar las instancias de EC2 desde la consola Servicios web Amazon
3. ssh en una de las instancias de EC2 en ejecución, utilizando el usuario hadoop, por ejemplo ssh -i keypair.pem hadoop@ec2-IPADDRESS.compute-1.amazonaws.com
4. Obtener la archivos que necesita, usando hadoop dfs -copyToLocal s3://elasticmapreduce/samples/wordcount/input/0002 .
5. SFTP los archivos en el sistema local

Answer 3

Puede acceder wordSplitter.py aquí:

https://elasticmapreduce.s3.amazonaws.com/samples/wordcount/wordSplitter.py

Puede acceder a la entrada de archivos aquí:

https://elasticmapreduce.s3.amazonaws.com/samples/wordcount/input/0012 
https://elasticmapreduce.s3.amazonaws.com/samples/wordcount/input/0011 
https://elasticmapreduce.s3.amazonaws.com/samples/wordcount/input/0010 
https://elasticmapreduce.s3.amazonaws.com/samples/wordcount/input/0009 
https://elasticmapreduce.s3.amazonaws.com/samples/wordcount/input/0008 
https://elasticmapreduce.s3.amazonaws.com/samples/wordcount/input/0007 
https://elasticmapreduce.s3.amazonaws.com/samples/wordcount/input/0006 
https://elasticmapreduce.s3.amazonaws.com/samples/wordcount/input/0005 
https://elasticmapreduce.s3.amazonaws.com/samples/wordcount/input/0004 
https://elasticmapreduce.s3.amazonaws.com/samples/wordcount/input/0003 
https://elasticmapreduce.s3.amazonaws.com/samples/wordcount/input/0002 
https://elasticmapreduce.s3.amazonaws.com/samples/wordcount/input/0001 

Answer 4

En Amazon S3 , no hay concepto de carpetas, un cubo, simplemente una colección plana de objetos. Pero puede enumerar todos los archivos que le interesan en un navegador con la siguiente URL: s3.amazonaws.com/elasticmapreduce?prefix=samples/wordcount/input/

Luego puede descargarlos especificando el nombre completo, p. s3.amazonaws.com/elasticmapreduce/samples/wordcount/input/0001