Transferencia de datos grandes entre servidores Fast

Question

Esta es una pregunta común, pero buscar en Google esto da mucha basura.

Como los volúmenes de datos son cada vez más y más alto, a lo largo de la potencia de procesamiento & capacidades de nube, estamos asistiendo a una creciente necesidad de tecnologías de transferencia de datos capaces de liberar el poder de todos estos datos a disposición por/en movimiento/intercambio de propagación a través de diferentes servidores/clientes.

En nuestro caso, estamos grabando datos binarios en tiempo real (50 gigas por día) y tenemos que cargarlo/descargarlo todos los días a/desde suscriptores (sí, todo lo necesita localmente cada servidor de suscriptor, para el cálculo y diversos datos cosas análisis)

Así que poner es poco, ¿cuáles son las opciones disponibles en la actualidad para transferir muchos gigas de datos muy rápido entre ventanas servidores remotos (VPS, Nube, con un "bastante" bandwitdth coherente - (fibra óptica a un lado))

Esta es una pregunta abierta. Todas las ideas son bienvenidas sea cual sea el protocolo.

Answer 1

El desafío de enviar y recibir datos a través de la red es múltiple.

1. El ancho de banda de la red es el factor más limitante y no hay casi nada que puede hacer por esta a nivel de aplicación (excepto compresa de vez en cuando los datos e incluso en ese caso la relación de compresión determina la ganancia). Entonces, una red más rápida es la primera opción.

2. Ciertos protocolos son más adecuados para transferir cierto tipo de archivos/datos. Por ejemplo, http es un protocolo basado en texto y no es realmente adecuado para contenidos binarios y grandes. Pero dado que es el protocolo web más popular que necesita que se envíen contenidos binarios por cable, han evolucionado técnicas como encoding and chunking. HTTP realmente no es la opción si sus datos están en el orden de GB que es su caso.

3. FTP es el protocolo más utilizado para transferir archivos a través de la red y está específicamente diseñado para transferir archivos. Hay varias extensiones de FTP como GridFTP, bbftp que son muy específicamente diseñadas para grandes transferencias de datos.

4. BitTorrents es otra opción que se puede explorar. Facebook usa BitTorrents para enviar los binarios a los servidores (decenas de miles).

Tu problema es muy abierto y estoy limitado por mi experiencia :). Here is link Encontré qué ofertas de grandes transferencias de datos. Espero que esto te ayude.