TBM 让大家在SmartTimes上听见你的声音
物联网在线
 
    Topic: 城市未来 | 零售未来 | 大数据 | 车联网 | 移动医疗 | 智能电表 | 智能工厂 | 移动支付 | 工业4.0 | 物联网大视野 | 智慧创想 | 测试测量 | 物联网's Style

 
当前位置: 物联网在线 > IT技术 > 技术 > 如何将基于HDFS的云存储应用于整合高校信息资源

如何将基于HDFS的云存储应用于整合高校信息资源

本文研究如何将基于HDFS的云存储应用于整合高校信息资源,旨在通过合适的构建基于HDFS的云存储服务系统,解决高校的海量数据存储问题。
关键词: 云存储 HDFS
时间:2012-03-01 00:18 来源:物联网在线 作者:IOTer 点击:

我要发布文章

本文研究如何将基于HDFS的云存储应用于整合高校信息资源,旨在通过合适的构建基于HDFS的云存储服务系统,解决高校的海量数据存储问题。通过对概念的解析,结合高校信息资源存储的特点,构建了一个低成本、高效率、高安全性的分布式信息资源整合解决方案,并给出了系统结构图。
 

海量的高校信息资源需要整合,这是当前不争的事实,因为高校信息资源存在着资源分布不均衡、更新维护成本高、共享程度低和安全性差等一系列问题。整合需要解决的首要问题就是信息的合理存储,以便实现对其高效、安全的访问。与传统的存储方式相比,云存储很好地解决了这个问题。

云存储(Cloud Storage)是在云计算(Cloud Computing)概念上延伸和发展出来的一个新的概念,它是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。

1 存储方式的比较

高可靠性:云存储实现对信息的分布式存储,信息被切分为多个数据块分散存储在云中的节点中,实现了多副本备份机制,因此安全性要远高于传统的单一甚至带有镜像服务器的信息存储方式。

访问的高效性:云中的控制节点通过“心跳检测”不断地监视存储节点的状态,当发现存储节点已经失效时,控制节点能够将工作负载交给那些运行正常的存储节点来完成。同时,由于云中的数据是分布式的存储,能够很好地分担存储和访问的压力,这些都使得云存储具有很高访问的效率。

存储成本低:原先的信息资源的存储一般使用专业的存储设备,价格不菲,使得资源存储的成本也随之提高。而云中的存储设备都是廉价的商业机,跟单一的大容量专业存储设备相比较,存储容量更大,存储成本更低。

管理便捷:云存储能够在软件层做到自动容错而不依赖硬件本身的容错,而且将信息资源存储在云中,有利于对资源进行统一的管理,提高资源的使用率。

另外,云存储还具有超强的可扩展性、不受具体地理位置所限、基于商业组件、按照使用收费(如每G收15美分)、可跨不同应用等。所有这些充分体现了云存储这种方式的优越性。

2 基于HDFS的云存储

2.1 HDFS的引入

目前各大公司都有自己的云存储产品,如微软公司的“Windows Live Sky Drive”网络移动硬盘服务、Google公司的“Google Stora ge”的云计算存储服务、亚马逊的Amazon webservices等。

在众多的云存储产品技术中,HDFS技术可以实施运行在普通的PC集群上,有效降低存储成本,该技术是Google文件系统(GFS)的开源实现,是分布式计算开源框架Hadoop的底层实现,Hadoop是Google集群系统的一个开源项目总称,Google集群系统是使用低成本的成熟技术构建的一个稳定、高性能、高可用性、可扩展的系统。Hadoop平台虽然是一项新兴的技术,但它的发展非常迅速,已开始被应用在企业、高校、科研机构等各个行业。文中重点研究HDFS云存储在高校信息整合中是如何应用的。

2.2 HDFS的理论剖析

Hadoop文件系统(Hadoop Distributed File System,HDFS)虽然和现有的文件系统有相似之处,也是可以运行在普通的硬件之上的分布式文件系统,但是HDFS具有高容错性,可以部署在低成本的硬件之上,可以以流的方式访问文件数据,从而高吞吐量地对应用程序进行访问,这些还是和一般的文件系统有区别的。图1是HDFS体系结构图。

HDFS体系结构图

研究HDFS的体系结构图可以得知,名称节点上保存这控制数据节点信息的元数据。客户端可以通过名称节点对元数据进行操作,也可以直接对数据节点进行读写。HDFS体系结构是个主从结构,这个主从结构常由单个的名称节点和多个数据节点组成,名称节点负责管理文件命名空间和客户端访问的主服务器,而数据节点则负责对存储进行管理,下面来剖析一下体系结构各部分的功能。

(责任编辑:zxh007)



本文链接如何将基于HDFS的云存储应用于整合高校信息资源
http://www.iot-online.com/art/2012/030117006.html
 
 

声明:物联网在线转载作品均尽可能注明出处,该作品所有人的一切权利均不因本站转载而转移。作者如不同意转载,即请通知本站予以删除或改正。转载的作品可能在标题或内容上或许有所改动。





返回页首


TopeWay Business Media


网站导航|帮助| 关于我们|隐私政策|联系我们|安全承诺

Copyright © 2011 Iot-online.com. 本网站所有内容均受版权保护。
未经版权所有人明确的书面许可,不得以任何方式或媒体翻印或转载本网站的部分或全部内容。


粤ICP备10057207号