¿Hay algún sistema de almacenamiento de archivos de código abierto escalable?

Question

Es interesante saber qué software están usando compañías como dropbox, rapidshare, hotfile y otras para administrar una gran cantidad de archivos. ¿Hay algún sistema de fuente abierta? Eché un vistazo a gridFS que está basado en mongo-db. Parece que esta no es la mejor opción debido a la velocidad (en comparación con nginx). ¿O estoy equivocado?

Quiero un sistema que pueda escalar infinitamente. Al conectar los servidores al sistema. En la lista a 100 TB.

Answer 1

Pago y envío MogileFS - http://danga.com/mogilefs/ - un sistema de archivos de código abierto desarrollado por Danga Interactive para usar con sus servicios de LiveJournal.com.

Si no quiere/no puede usar servicios en la nube como Amazon S3 y ejecutar sus propios servidores, entonces MogileFS podría ser la opción correcta. MogileFS es confiable, la administración y el escalado es muy fácil y económico.

Desafortunadamente, no puedo proporcionar ninguna comparación de rendimiento o puntos de referencia para otros sistemas de archivos. Pero no debe esperar MogileFS para el primer puesto, porque está funcionando a nivel de aplicación, lo que también puede ser una ventaja.

Ver también la página de Google Code para más infos: http://code.google.com/p/mogilefs/

Answer 2

Dropbox está construido en Amazon's S3 Dropbox - Where are my files stored.

puede encontrar algunas opciones de código abierto más aquí: Alternatives to Amazon S3

Answer 3

Para el googler por ahí que encuentra esta pregunta:

FB tiene tantos archivos que tenían que escribir su propio sistema de archivos; los archivos múltiples se almacenan básicamente en 1 archivo gigante con marcadores entre ellos. Esto se hace para reducir la cantidad de archivos en el sistema.

Lo que necesita parece como Google File System

Answer 4

¿Qué quiere decir por GridFS límites de capacidad dispone de mesa grande? ¿Podrías por favor ser más específico o señalar alguna documentación en la que lo hayas leído ya que no conozco ningún límite de capacidad con gridFS?

Answer 5

de Hadoop HDFS es un sistema de archivos escalable. Otra opción es GlusterFS

Answer 6

GlusterFs es un sistema de archivos distribuidos de código abierto. A diferencia de HDFS, no tiene metadatos centralizados. Lo que significa GlusterFS no tiene un solo punto de falla.