¿Qué significa el tiempo de CPU para un trabajo de Hadoop?

Question

Me temo que no entiendo los resultados de tiempo de un trabajo Map-Reduce. Por ejemplo, un trabajo que estoy ejecutando me da los siguientes resultados del rastreador de trabajos.

terminado en: 1mins, 39sec tiempo

CPU empleado (ms) 150,460 152,030 302,490

Las entradas de tiempo de CPU gastado (ms) son de Mapa, reducir y total, respectivamente. Pero, ¿cómo se mide el "tiempo de la CPU" y qué significa? ¿Es este el tiempo acumulado total en cada uno de los mapeadores y reductores asignados para el trabajo? ¿Es posible medir otras veces desde el marco como el tiempo para mezclar, ordenar, particionar, etc.? ¿Si es así, cómo?

Una segunda pregunta que me molesta. He visto algunas críticas aquí (Link1, Link2), que sugieren el uso de getTime() de la clase del controlador:

long start = new Date().getTime(); 
boolean status = job.waitForCompletion(true); 
long end = new Date().getTime(); 
System.out.println("Job took "+(end-start) + "milliseconds"); 

No es esto lo que hace la primera entrada en la salida Job Tracker ofrece todos modos? ¿Es esto necesario? ¿Cuál es la mejor manera de calcular el tiempo de un trabajo de hadoop, especialmente cuando quiero medir el tiempo de IO, calcular el tiempo por nodo/por etapa?

Answer 1

La fase del mapa consta de: lector de registros, mapa, combinador y particionador.

La fase de reducción consiste en: mezclar, ordenar, reducir, salida.

El tiempo de CPU que está viendo allí es de toda la fase del mapa y toda la fase de reducción ... no solo de la función en sí. Esta es una terminología confusa porque tiene la función de mapa y función de reducción, que son solo una parte del mapa fase y reducen fase. Este es el tiempo total de CPU en todos los nodos del clúster.

El tiempo de CPU es muy diferente en tiempo real. El tiempo de CPU es la cantidad de tiempo que se gasta en las CPU, mientras que el tiempo real es lo que tú y yo experimentamos como humanos. Piense en esto: suponga que tiene el mismo trabajo ejecutando los mismos datos pero en un clúster de 20 nodos, luego un clúster de 200 nodos. En general, se usará la misma cantidad de tiempo de CPU en ambos clústeres, pero el clúster de 200 nodos se ejecutará 10 veces más rápido en tiempo real. El tiempo de CPU es una medida útil cuando tiene un sistema compartido con muchos trabajos ejecutándose al mismo tiempo.

No sé cómo bucear más profundo para obtener el tiempo de CPU en cada fase. Sin embargo, usar un temporizador de fecha probablemente no sea lo que estás buscando.