¿Por qué Hadoop está estrechamente vinculado a Linux?

Question

Soy nuevo con Hadoop. ¿Cuáles son las razones específicas por las que Hadoop está tan estrechamente vinculado con Linux, y el clúster que ejecuta es homogéneo?

Estoy buscando detalles realmente específicos que puedan decirme por qué Hadoop no funciona bien con Windows, y si hay algunas bibliotecas, ¿qué scripts están involucrados?

Mi proyecto es implementar Hadoop sin usar Cygwin. Ya he visto el artículo de Hayes Davis donde explica cómo instalar Hadoop sin Cygwin, pero dijo que hay algunos errores. Podría comenzar de cero para configurar correctamente Hadoop en Windows, pero si alguien puede explicar cuáles son, específicamente, las razones por las que Hadoop no funciona bien en Windows, lo que sería muy útil.

Answer 1

De acuerdo con su Quick Start page, no ha sido bien probado todavía.

• GNU/Linux es compatible como plataforma de desarrollo y producción. Hadoop se ha demostrado en clústeres GNU/Linux con 2000 nodos.
• Win32 es compatible como una plataforma de desarrollo. La operación distribuida no se ha probado bien en Win32, por lo que no es compatible con una plataforma de producción .

Windows tiene mucho mejor soporte de gestión remota que la gente cree, pero aún así es difícil de superar Linux cuando se trata de la facilidad (y precio) de la creación de una granja de computadoras de gran tamaño. Esto es sólo una suposición, pero tal vez es menos probable que los investigadores que necesitan construir tales clústeres masivos quieran destinar gran parte de su presupuesto a la licencia del sistema operativo.

Answer 2

¿Conoce el trabajo de Hadoop en el que colabora Microsoft and Hortonworks, comprometiendo esencialmente los cambios al proyecto Apache para el soporte nativo de Windows?

El proyecto está todavía en una fase de vista previa, siendo Hadoop on Azure la primera parte del despliegue. Esto es Hadoop ejecutándose en Windows Server 2008R2 en la nube de Windows Azure. También estará disponible para su instalación en las instalaciones para construir sus propios clusters.

Recomendaría aprender más e inscribirse en el programa, ya que estaría recreando lo que ellos ya han gastado durante años.

Answer 3

TNE respuesta es validado a partir de 2012. Aquí están las últimas noticias de la Hadoop Wiki partir de 2017

• versión 2.2 incluye Hadoop en adelante soporte nativo para Windows. Las versiones oficiales de Apache Hadoop no incluyen los binarios de Windows (aún, a partir de enero de 2014). Sin embargo, crear un paquete de Windows a partir de las fuentes es bastante sencillo.