分布式文件系统介绍

当前比较流行的分布式文件系统包括:LustreHadoopMogileFSFastDFSNFSOpenAFSMooseFSpNFSGlusterFSTFS 以及 GoogleFS 等。

1、Lustre

lustre 是一个大规模的、安全可靠的,具备高可用性的集群文件系统,它是由SUN公司开发和维护。该项目主要的目的就是开发下一代的集群文件系统,可以支持超过 10000 个节点,数以 PB 的数量存储系统。

lustre 是开放源代码的集群文件系统,采取 GPL 许可协议,目前在集群计算机里,计算机与磁盘间数据交换的提升无法跟上微处理器和内存增长的速度,从而也拖累了应用程序的性能,一种新兴的集群文件系统软件提高了I/O速度,可能降低企业购买存储设备的成本并改变企业购买存储的方式,集群文件系统已经在大学、实验室和超级计算机研究中心里使用,而且即将进入通用商业计算市场。新的集群文件系统采用了开源的 lustre 技术,由美国能源部(Department Of Energy)开发,惠普公司(HP)提供商业支持。它显著提高了输入输出(I/O)速度,目前已经在高校、国家实验室和超级计算研究中心产生了一定影响,未来几年中,它很有可能进入普通的商业计算机领域。 运行在linux下

开发语言:c/c++

官网:http://lustre.org/

2、Hadoop

hadoop并不仅仅是一个用于存储的分布式文件系统,而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。授权协议apache。

开发语言:java,资源耗费有点大。

官网:http://hadoop.apache.org/

3、MogileFs

Mogile Fs是一个开源的分布式文件系统,主要特征包括

  • 应用层的组件

  • 无单点故障

  • 自动文件复制

  • 具有比RAID更好的可靠性

  • 无需RAID nigukefs支持 ,运行在linux下。

官网:http://www.danga.com/

4、FastDFS

FastDFS 是一个开源的分布式文件系统,她对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大