varias cuestiones fundamentales:
- Considere un banco de pruebas local para algunos propósitos & considerar si una prueba determinada realmente necesita EC2. Si es realmente tan difícil negociar entre 2 y 4 máquinas para usar como banco de pruebas para Hadoop, hay un problema diferente. Entérate de lo que sea que vayas a correr, cómo Hadoop desempeñará un papel, y patea los neumáticos con eso. Con el tiempo, también querrás cambiar tu cuadrícula, actualizar el software, jugar con otras ideas, etc. Cuando vayas a EC2, ya habrás suavizado algunas asperezas.
- No use una máquina de mayor capacidad de la necesaria mientras se familiariza con las cosas. Si no está presionando muchos datos o no computa los ciclos en esta etapa, no se moleste con los nodos de cómputo del clúster, instancias masivas de RAM, etc. Solo concéntrese en configurar las cosas correctamente.
- Cuando esté listo para redirigir a máquinas más potentes, intente con algunas configuraciones de máquina diferentes. Tal vez las instancias de cálculo del clúster darán sus frutos, tal vez no necesite ese tipo de rendimiento: hasta que conozca sus cuellos de botella, no gaste de más.
- Asegúrese de utilizar instancias puntuales con frecuencia durante la fase de prueba. Por lo general, pagará aproximadamente el 50% del precio bajo demanda.
- Si llega al punto en el que desea pagar las instancias a petición, inicie una instancia por separado y detenga las instancias de Hadoop según sea necesario, a menos que necesite un clúster grande en las instancias de cómputo del clúster.
- Prepare sus AMI para que se lancen lo más rápido posible (menos de 1 minuto) y nunca deje nada funcionando durante la noche o durante un fin de semana si no es necesario.
Hasta que consiga que el sistema esté en funcionamiento, básicamente está pagando la matrícula para aprender a obtener todo lo que necesita. Simplemente pague la "matrícula" para aprender cada lección (configuraciones, cuellos de botella, escalado, etc.), en lugar de tratar de asumir todo a la vez. Cuando lo aborda como una serie de lecciones para aprender, es menos doloroso gastar el dinero, pero mientras sepa lo que está a punto de evaluar y aprender, también gastará el dinero de manera más juiciosa.
Finalmente, compare los $ 1500 con los costos laborales de esta experiencia de aprendizaje, probablemente no sea un gran problema a largo plazo. Una vez que sepa que algo va a ser un bloque razonable de esfuerzo computacional, está bien diseñado y terminará rápidamente (aunque en muchas máquinas), no es tan doloroso gastar dinero en ello. En este momento, es difícil apreciar lo que estás aprendiendo porque aún no beneficia los objetivos de tu organización.
¿Pero cuánto le hubiera costado aprovisionar/respaldar su propio HW equivalente? Si fue 15 K +, tienes una ganga ... – timday