Vi el comando dfs
, luego fui a la documentación pero no puedo entender.
En mi punto de vista fs
y dfs
trabajando similar. ¿Alguien da la diferencia exacta?Diferencia entre `hadoop dfs` y` hadoop fs`
Respuesta
Se puede ver las definiciones de los dos comandos (fs Hadoop Hadoop & DFS) en $ HADOOP_HOME/bin/hadoop
...
elif [ "$COMMAND" = "datanode" ] ; then
CLASS='org.apache.hadoop.hdfs.server.datanode.DataNode'
HADOOP_OPTS="$HADOOP_OPTS $HADOOP_DATANODE_OPTS"
elif [ "$COMMAND" = "fs" ] ; then
CLASS=org.apache.hadoop.fs.FsShell
HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
elif [ "$COMMAND" = "dfs" ] ; then
CLASS=org.apache.hadoop.fs.FsShell
HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
elif [ "$COMMAND" = "dfsadmin" ] ; then
CLASS=org.apache.hadoop.hdfs.tools.DFSAdmin
HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
...
Por lo tanto, ellos son exactamente lo mismo.
comentario de @ajjain: Cuando lees esta entrada de blog http: // nsinfra.blogspot.in/2012/06/difference-between-hadoop-dfs-and.html esto explica el tema con más información. Es la configuración predeterminada del esquema que causa la diferencia. – CharlesB
@ajjain, por favor no use editar para comentar;) – CharlesB
- 1. La diferencia entre hadoop fs -put y hadoop fs -copyFromLocal
- 2. Eliminando DFS en Hadoop
- 3. hadoop dfs -ls se queja
- 4. Hadoop fs búsqueda de tamaño de bloque?
- 5. "-format hadoop NameNode" devuelve un java.net.UnknownHostException hadoop
- 6. hadoop: ¿diferencia entre 0 reductor y reductor de identidad?
- 7. Diferencia entre Amazon S3 y S3n en Hadoop
- 8. ¿Es posible ejecutar hadoop fs -getmerge en S3?
- 9. ¿Cómo uso hadoop fs -getmerge para descargar archivos .deflate?
- 10. Integración Hadoop y MySQL
- 11. Transmisión de datos y Hadoop? (no Hadoop Streaming)
- 12. ¿Dónde están almacenados mis archivos (dir) cuando utilicé el hadoop fs -mkdir?
- 13. Hadoop y Django, ¿es posible?
- 14. Uso de mahout y hadoop
- 15. Hadoop o Hadoop Streaming para MapReduce en AWS
- 16. Hadoop: fusión intermedia fallida
- 17. Hadoop dfs -ls devuelve la lista de archivos en mi directorio/directorio
- 18. Java vs Python en Hadoop
- 19. Cómo desinstalar Hadoop?
- 20. Variables globales en hadoop
- 21. Archivos comprimidos Hadoop gzip
- 22. Comenzando con MapReduce/Hadoop
- 23. Hadoop Documentation for Eclipse
- 24. Hadoop: «ERROR: JAVA_HOME no está configurado»
- 25. Unir similitud usando Hadoop
- 26. MultipleOutputFormat en hadoop
- 27. Recuperar Hadoop NameNode fracaso
- 28. Hadoop Map Reduce: Algorithms
- 29. Rieles con Hadoop
- 30. Hadoop - compuesto clave
"FS" y "DFS" son términos sobrecargados y es difícil saber de lo que está hablando. ¿Puedes dar algunos ejemplos de algunos comandos similares que te confunden? –
¿Puede @Will o alguien explicar por qué esto fue cerrado como fuera del tema? Hubiera pensado que Hadoop DFS se incluye en las "herramientas de software utilizadas por los programadores" (como se enumeran en las preguntas frecuentes). –
Ah, al ver el historial de edición, supongo que es porque 'hadoop' no se mencionó originalmente en la pregunta. (¿Aunque estaba en las etiquetas?) –