Eliminando DFS en Hadoop

9

hdfs dfs -rm -r "/*"

(la respuesta de edad está desfasada)

Fuente

2009-09-10 23:50:18

+0

me sale un error de borrado fallido cuando intento esto, puedo eliminar subdirectorios, pero no la raíz DFS –

+1

'hdfs -rmr' ya no se utiliza y no funcionará para'/'. Deberías probar 'hdfs dfs -rm -r"/* "' en su lugar. – Mehraban

10

bin/hadoop namenode -format

Fuente

2009-09-10 23:52:05 SquareCog

+3

Watchout: los viejos datanodes existentes no funcionarán con este dfs recién formateado. Ver http://issues.apache.org/jira/browse/HDFS-107 – Leonidas

16

que tiene que hacer dos cosas:

eliminar el directorio principal de almacenamiento hadoop desde cada nodo. Este directorio está definido por la propiedad hadoop.tmp.dir en su hdfs-site.xml.
a formatear el NameNode:

hadoop namenode -format

Si vas a hacer (2), que sólo eliminará los metadatos almacenados por el NameNode, pero no deshacerse de todo el almacenamiento temporal y bloques de nodos de datos

Fuente

2011-12-21 23:58:38 Eduard

+0

¡no es posible eliminar el directorio principal de almacenamiento de hadoop de cada nodo! – Mehraban

+0

realizando el formato namenode eliminará todos los metadatos y también hará que el clúster no se pueda usar. Esta no es una opción recomendable. –

+0

También si un formato namenode generará una nueva identificación de clúster para el namenode y todos los demás deamons no podrán comunicarse con el namenode. Por favor, actualice su respuesta para evitar equivocaciones. Gracias –

3

Así que esto es lo que he tenido que hacer en el pasado.

1. Navegue hasta su directorio hadoop en su NameNode, luego detenga todos los procesos de hadoop. Ejecutando el script stop-all predeterminado. Esto también detendrá DFS. p.ej.

cd myhadoopdirectory 
bin/stop-all.sh

2. Ahora en cada máquina del clúster (Namenodes, JobTrackers, DataNodes etc.) eliminar todos los archivos en su principal mina de almacenamiento Hadoop se establece en la carpeta temporal en la carpeta raíz. El suyo se puede encontrar en el archivo conf hdfs-site.xml en la propiedad hadoop.tmp.dir, p.

cd /temp/ 
rm -r *

3. Por último volver a su nodo de nombre, y darle formato al ir a su directorio hadoop y funcionando 'NameNode bin/hadoop -format', por ejemplo,

cd myhadoopdirectory 
bin/hadoop namenode -format

4. Inicie nuevamente el clúster ejecutando el siguiente comando. También iniciará DFS nuevamente.

bin/start-all.sh

5. Y debería funcionar.

Fuente

2012-02-05 17:44:30 jonhurlock

3

Es posible emitir

hadoop fs -rmr/

Esto sería eliminar todos los directorios y subdirectorios bajo DFS.

Otra opción es dejar el clúster y ejecuta:

hadoop namenode -format

Esto sería borrar todo el contenido de DFS, y luego iniciar el clúster nuevo.

Fuente

2012-04-12 19:26:31 techlad

1

Debe llamar al bin/stop-all.sh para detener dfs y mapreduce.
Eliminar el directorio de datos que está configurado en conf/hdfs-site.xml y conf/mapred-site.xml.
Asegúrese de haber eliminado algunos archivos temporales existentes en/tmp dir.

Después de todos los pasos anteriores, puede llamar al bin/hadoop namenode -format para regenerar un dfs.

Fuente

2012-04-18 05:33:41 SomeOneSomeDay

0

parada agrupe

${HADOOP_HOME}/bin/stop-mapred.sh

${HADOOP_HOME}/bin/stop-dfs.sh

o si su seudo distribuida, simplemente cuestión:

${HADOOP_HOME}/bin/stop-all.sh
Formato sus hdfs

hadoop namenode -format

Fuente

2012-11-13 22:42:41 stholy

Respuesta

Cuestiones relacionadas