7
Sé cómo funciona memcached. ¿Cómo funciona Hadoop?¿Alguien puede dar una explicación simple de alto nivel a un principiante sobre cómo funciona Hadoop?
A
Respuesta
9
Hadoop consta de una serie de componentes que son subproyectos del proyecto Apache Hadoop. Dos de los principales son Hadoop Distributed File System (HDFS) y MapReduce framework.
La idea es que pueda conectar en red varias computadoras comunes para crear un clúster. HDFS se ejecuta en el clúster. A medida que agrega datos al clúster, se divide en grandes bloques/bloques (generalmente 64 MB) y se distribuye alrededor del clúster. HDFS permite que los datos se repliquen para permitir la recuperación de fallas de hardware. Casi espera fallas de hardware ya que está diseñado para funcionar con hardware estándar. HDFS se basa en el documento de Google sobre su sistema de archivos distribuidos GFS.
El marco Hadoop MapReduce ejecuta los datos almacenados en el HDFS. El objetivo de MapReduce es proporcionar una capacidad de procesamiento basada en clave/valor de forma altamente paralela. Debido a que los datos se distribuyen a través del clúster, un trabajo de MapReduce se puede dividir para ejecutar muchos procesos paralelos sobre los datos almacenados en el clúster. Las partes del Mapa de MapReduce solo se ejecutan en los datos que pueden ver, es decir, los bloques de datos en la máquina en particular se ejecuta. The Reduce reúne la salida de los Mapas.
El resultado es un sistema que proporciona una capacidad de procesamiento por lotes altamente paralela. El sistema escala bien, ya que solo necesita agregar más hardware para aumentar su capacidad de almacenamiento o disminuir el tiempo que tarda en ejecutarse un trabajo de MapReduce.
Algunos enlaces:
Cuestiones relacionadas
- 1. ¿Explicación más simple de cómo funciona un contenedor DI?
- 2. ¿Alguien puede dar una explicación fácil de cómo se implementan 'Full Fences' en .Net usando Threading.MemoryBarrier?
- 3. ¿Alguien puede dar una explicación clara de por qué Google Guice es útil?
- 4. Principiante CUDA - Incremento var simple no funciona
- 5. Explicación básica simple de una tabla hash distribuida (DHT)
- 6. alto nivel, bibliotecas amigables OpenGL para un principiante-intermedio programador de C++
- 7. ¿alguien me puede dar un ejemplo de Two_line_list_item en Android?
- 8. ¿Cómo dar permiso a un usuario de nivel ionice?
- 9. ¿Alguien puede dar una guía sobre la instalación de TFS Build en una función de Windows Azure?
- 10. ¿Puede alguien darme una descripción general de cómo funciona lucene.net?
- 11. ¿Alguien puede explicar cómo funciona esto?
- 12. Configuración del nivel de registro en Hadoop a WARN
- 13. ¿alguien puede explicar cómo funciona este stopPropagation?
- 14. ¿Una explicación simple de Rings en Riak?
- 15. Algoritmo genético multiobjetivo NSGA-2. ¿Alguien podría darme una "explicación simple"?
- 16. Explicación sobre una instrucción Java
- 17. C# - ¿Alguien puede mostrarme un ejemplo muy simple de interfaces
- 18. ¿Cómo funciona ninject en un nivel alto, cómo intercepta la instanciación de objetos?
- 19. ¿C# es un lenguaje de alto nivel?
- 20. explicación de alto nivel de la clase de similitud para Lucene?
- 21. Necesita una explicación simple del método de inyección
- 22. ¿Alguien puede dar un ejemplo de cómo publicar XML usando HTTParty y Ruby on Rails?
- 23. ¿Puede alguien explicarme los niveles de confianza de ASP.NET?
- 24. ¿Cómo se llama una compatibilidad ioctl desde el espacio de usuario? ¿Alguien puede dar algunos ejemplos?
- 25. ¿Alguien puede dar un ejemplo de búsqueda, lectura y escritura de un archivo de> 4 GB con boost iostreams
- 26. Lenguaje de sistema de alto nivel que compila a c?
- 27. ¿Puede alguien darme una buena explicación del comportamiento de 'envío' para tomas sin bloqueo?
- 28. ¿Qué tan alto debe/van los idiomas de alto nivel?
- 29. ¿Existe una manera simple de especificar un enlace de datos WPF donde la ruta tiene un "nivel" alto?
- 30. cómo dar un nombre personalizado a los archivos de salida de hadoop