Ejecución de una aplicación Hadoop independiente en múltiples núcleos de CPU

Question

Mi equipo creó una aplicación Java utilizando las bibliotecas Hadoop para transformar un conjunto de archivos de entrada en resultados útiles. Dada la carga actual, un solo servidor multinúcleo funcionará bien para el próximo año más o menos. No (todavía) tenemos la necesidad de elegir un clúster Hadoop multiservidor, pero decidimos comenzar este proyecto "estar preparados".

Cuando ejecuto esta aplicación en la línea de comandos (o en eclipse o netbeans) todavía no he podido convencerlo de usar más de un mapa y/o reducir el hilo a la vez. Dado que la herramienta requiere mucha CPU, esta "rosca única" es mi actual cuello de botella.

Cuando se ejecuta en el perfilador netbeans veo que la aplicación se inicia varios hilos para diversos fines, pero sólo un único mapa/reducir se está ejecutando en el mismo momento.

Los datos de entrada se compone de varios archivos de entrada para Hadoop debería al menos ser capaz de ejecutar 1 hilo por cada archivo de entrada al mismo tiempo para la fase mapa.

¿Qué debo hacer para tener al menos 2 o incluso 4 hilos activos en ejecución (que debería ser posible para la mayor parte del tiempo de procesamiento de esta solicitud)?

Espero que esto sea algo muy tonto que he pasado por alto.

---

acabo de encontrar esto: https://issues.apache.org/jira/browse/MAPREDUCE-1367 Esto implementa la función que estaba buscando en Hadoop 0,21 Se introduce el mapreduce.local.map.tasks.maximum bandera de controlarlo.

Por ahora también he encontrado la solución que se describe here in this question.

Answer 1

No estoy seguro de si estoy en lo cierto, pero cuando ejecuta tareas en modo local, no puede tener múltiples asignados/reductores.

De todos modos, para establecer el número máximo de creadores de mapas en ejecución y reductores de utilizar las opciones de configuración y mapred.tasktracker.map.tasks.maximummapred.tasktracker.reduce.tasks.maximum por defecto esas opciones se establecen en 2, por lo que podría ser adecuado.

Por último, si usted quiere estar preparado para clúster de varios nodos ir directamente con el funcionamiento de esto en forma totalmente distribuida, pero tienen todos los servidores (NameNode, DataNode, TaskTracker, JobTracker, ...) se ejecutan en una sola máquina

Answer 2

De acuerdo con this thread on the hadoop.core-user email list, querrá cambiar el ajuste mapred.tasktracker.tasks.maximum al número máximo de tareas que le gustaría que su máquina manejara (que sería el número de núcleos).

Este (y otras propiedades es posible que desee configurar) también se documenta en the main documentation on how to setup your cluster/daemons.

Answer 3

Sólo una aclaración ... Si se ejecuta en modo local Hadoop que no tienen la ejecución en paralelo en un nivel de tarea (salvo que se está ejecutando> = 0,21 hadoop (MAPREDUCE-1367)). Aunque puede enviar múltiples trabajos a la vez y estos se ejecutan en paralelo, entonces.

Todos esos

mapred.tasktracker {mapa | reducir}. .tasks.máximo

¡Las propiedades solo se aplican al hadoop ejecutándose en modo distribuido!

HTH Joahnnes

Answer 4

Lo que se quiere hacer es ejecutar Hadoop en el modo de "pseudo-distribuido". Una máquina, pero que ejecuta los rastreadores de tareas y los nodos de nombre como si fuera un clúster real. Entonces (potencialmente) ejecutará varios trabajadores.

Tenga en cuenta que si su entrada es pequeña, Hadoop decidirá que no vale la pena paralelizarla. Puede que tenga que convencerlo cambiando su tamaño de división predeterminado.

En mi experiencia, los trabajos Hadoop "típicos" están vinculados con E/S, a veces con memoria, mucho antes de que estén vinculados a la CPU. Puede que le resulte imposible utilizar por completo todos los núcleos en una máquina por este motivo.