¿Cómo eliminar el nodo muerto del clúster Cassandra?

Question

1. Tengo el conjunto de cassandra de 12 nodos en EC2.
2. Debido a alguna falla, hemos perdido completamente uno de los nodos. Quiero decir que la máquina ya no existe.
3. Así que he creado la nueva instancia EC2 con diferente ip y el mismo token que el nodo muerto y también tuve la copia de seguridad de los datos en ese nodo para que funcione bien
4. Pero el problema es que los nodos muertos todavía aparece como un nodo inalcanzable en describir el clúster.
5. Como ese nodo (instancia EC2) no existe más que no puedo usar el nodetool desmantelar o nodetool disablegossip

¿Cómo puedo deshacerme de este nodo inalcanzable

Answer 1

Normalmente cuando reemplace un nodo, quiere establecer el token del nuevo nodo en (failure node's token) - 1 y dejarlo arrancar. A partir de 1.0 ahora hay un indicador que puede especificar al inicio al replace a dead node: "cassandra.replace_token =".

Dado que ya ha añadido el nuevo nodo con la misma razón que hay un paso adicional:

1. movimiento de contadores al nuevo nodo a (failure node's token) - 1 usando nodetool move
2. Run nodetool removetoken <failed node's token> de uno de los nodos hasta
3. Ejecute nodetool cleanup en cada nodo

Estos son básicamente el pre 1.0 instructions para reemplazar un nodo muerto con el movimiento de token adicional.

Answer 2

Tuve el mismo problema y lo resolví con removenode, que no requiere que encuentre y cambie el token del nodo.

primer lugar, obtener el UUID nodo:

nodetool status 

DN 192.168.56.201 ?   256  13.1% 4fa4d101-d8d2-4de6-9ad7-a487e165c4ac r1 
DN 192.168.56.202 ?   256  12.6% e11d219a-0b65-461e-babc-6485343568f8 r1 
UN 192.168.2.91 156.04 KB 256  12.4% e1a33ed4-d613-47a6-8b3b-325650a2bbd4 RAC1 
UN 192.168.2.92 156.22 KB 256  13.6% 3a4a086c-36a6-4d69-8b61-864ff37d03c9 RAC1 
UN 192.168.2.93 149.6 KB 256  11.3% 20decc72-8d0a-4c3b-8804-cc8bc98fa9e8 RAC1 

Como se puede ver el 0.201 y el 0.202 han muerto y en una red diferente. Estos han sido cambiados a .91 y .92 sin el desmantelamiento apropiado y el nuevo servicio. Yo estaba trabajando en la instalación de la red y cometí algunos errores ...

En segundo lugar, retire el 0.201 con el siguiente comando:

nodetool removenode 4fa4d101-d8d2-4de6-9ad7-a487e165c4ac 

(en versiones anteriores era nodetool eliminar ...)

Pero al igual que para el nodetool removetoken ..., bloquea ... (ver el comentario de samarth en la respuesta de Prandord) Sin embargo, tiene un efecto secundario, pone ese UUID en una lista de nodos que se eliminarán. Entonces, podemos forzar la eliminación con:

nodetool removenode force 

(en versiones anteriores era nodetool eliminar ...)

Ahora el nodo acepta el comando que me dice que es la eliminación de la entrada no válida:

RemovalStatus: Extracción de fichas (-9136982325337481102). Esperando confirmación de replicación de [/192.168.2.91,/192.168.2.92].

También vemos que se comunica con los otros dos nodos que están activos y por lo tanto toma un poco de tiempo, pero todavía es bastante rápido.

A continuación, nodetool status no muestra el nodo .201. Repito con .202 y ahora el estado es limpio.

Después de que usted también puede querer ejecutar una limpieza como se menciona en psanford respuesta:

nodetool cleanup 

La limpieza se debe ejecutar en todos los nodos, uno por uno, para asegurarse de que el cambio se tenga plenamente en cuenta .