TBM 让大家在SmartTimes上听见你的声音
物联网在线
 
    Topic: 城市未来 | 零售未来 | 大数据 | 车联网 | 移动医疗 | 智能电表 | 智能工厂 | 移动支付 | 工业4.0 | 物联网大视野 | 智慧创想 | 测试测量 | 物联网's Style

 
当前位置: 物联网在线 > IT技术 > 技术 > 像傻瓜一样学习--什么是大数据?

像傻瓜一样学习--什么是大数据?

麦肯锡的报告发布后,大数据迅速成为了计算机行业争相传诵的热门概念,也引起了金融界的高度关注。随着大数据时代的全面开启,你是否做好了充分的准备迎接这个时代的到来呢?
关键词: 大数据 云计算
时间:2012-12-28 00:08 来源:华通科技 作者:徐文卓 点击:

我要发布文章

网络上流传着这么的一句流行语:“万事不懂问度娘”。自从有了各种搜索引擎,新名词新技术对大众而言,已不再神秘。然而,当你搜索“大数据”或者“big data solution”等关键字时,搜索出的海量相关知识铺天盖地,对初学者而言,仍然很难在短时间内入门。本文目的,是以傻瓜式提问的方式让初学者轻松的了解“大数据”。

大数据的概念

“大数据”,是不是----数据很大就叫大数据?

实际上简单的这样理解也没有错,在明确定义时,会比较强调大数据的4个V的特性: Volume,Variety,Value,Velocity。也就是:

一、数据存储空间占用大(至PB及以上级别);

二、数据类型繁多;

三、价值密度低;

四、处理速度快。

搜索的信息中,你会发现有某些名词出现的频率非常高,心里也随之会产生一些疑问。“PB是多大?”“Map-Reduce是啥?”“Hadoop是啥?”“大数据跟云计算啥关系?跟传统意义的数据库啥关系?”等等。

这么多的信息量,我们还是按照大数据的基本定义,四个V来逐一梳理吧。

从第一个V开始,Volume。

数据量很大,到底能达到什么程度呢?先来学习一下数量级的知识吧。

1KB(Kilobyte 千字节) = 2^10 B = 1024 B;

1MB(Megabyte 兆字节) = 2^10 KB = 1024 KB = 2^20 B;

1GB(Gigabyte 吉字节) = 2^10 MB = 1024 MB = 2^30 B;

1TB(Trillionbyte 太字节) = 2^10 GB = 1024 GB = 2^40 B;

1PB(Petabyte 拍字节) = 2^10 TB = 1024 TB = 2^50 B;

1EB(Exabyte 艾字节) = 2^10 PB = 1024 PB = 2^60 B;

1ZB(Zettabyte 泽字节) = 2^10 EB = 1024 EB = 2^70 B;

1YB(YottaByte 尧字节) = 2^10 ZB = 1024 ZB = 2^80 B;

1BB(Brontobyte ) = 2^10 YB = 1024 YB = 2^90 B;

1NB(NonaByte ) = 2^10 BB = 1024 BB = 2^100 B;

1DB(DoggaByte) = 2^10 NB = 1024 NB = 2^110 B;

……

“哇!坑爹啊,整出这么多名词,跟大数据都有关系吗?需要我们掌握吗?”别激动!其实,KB,MB,GB我们在日常电脑操作中已经经常碰到了。甚至TB级的大硬盘,也已经应用于家用电脑中了。我们所说的“大数据”,目前大多产品还处在了立足PB展望EB的级别。后面的那些什么ZB、YB、BB、NB、DB……等,就暂时先当他们是浮云吧~

第二个V, Variety。

关于这一点,百度百科里是这么说的“网络日志、视频、图片、地理位置信息等等”。从专业一点的角度,我们可以说“大数据”中,可以有结构化数据,但更多的是大量的非结构化和半结构化数据。

结构化和非结构化数据是什么意思?

结构化数据是指,可以存储在数据库里,可以用二维表结构来逻辑表达实现的数据。

非结构化数据,是指不方便用数据库二维逻辑表来表现的数据,包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。

而半结构化数据,就是介于完全结构化数据(如关系型数据库、面向对象数据库中的数据)和完全无结构的数据(如声音、图像文件等)之间的数据,HTML文档就属于半结构化数据。它一般是自描述的,数据的结构和内容混在一起,没有明显的区分。   

上述的描述,其实还是有点不明确。用数据模型的列表来看,区别就更清晰一点了:

第三个V,Value。

价值密度低。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。

第四个V,Velocity。

处理速度快。如此庞大的数据量,需要在短时间内迅速响应。所使用的技术,当然是有别于传统的数据挖掘技术的。

释疑解惑

“梳理完了四个V,咋还是云山雾罩的呢?”

下面来回答几个初学者可能思考到的问题吧!

针对大数据的四个V,有没有什么对应的技术来应对呢?

目前,查询“大数据”,你会发现度娘给出的各种信息中,Hadoop这个词出现的很频繁。而且,很多厂商提供的产品,也都会打上一个标签:“**产品已经并入Hadoop分布式计算平台,以及将Hadoop引入**产品。”

什么是Hadoop?

Hadoop是由Apache基金会开发的一个分布式系统基础架构。它是一个能够对大量数据进行分布式处理的软件框架。用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力高速运算和存储。

Hadoop包含了如下子项目:

1. Hadoop Common: 在0.20及以前的版本中,包含HDFS、MapReduce和其他项目公共内容,从0.21开始HDFS和MapReduce被分离为独立的子项目,其余内容为Hadoop Common

2. HDFS: Hadoop 分布式文件系统 (Distributed File System) - HDFS (Hadoop Distributed File System)   

3. MapReduce:并行计算框架,0.20前使用 org.apache.hadoop.mapred 旧接口,0.20版本开始引入org.apache.hadoop.mapreduce的新API   

4. HBase: 类似Google BigTable的分布式NoSQL列数据库。

5. Hive:数据仓库工具,由Facebook贡献。   

6. Zookeeper:分布式锁设施,提供类似Google Chubby的功能,由Facebook贡献。   

7. Avro:新的数据序列化格式与传输工具,将逐步取代Hadoop原有的IPC机制。  

8. Pig: 大数据分析平台,为用户提供多种接口。

作为初学者,我们先拨开一些浮云,看看这里面到底有些什么。有三个主体部分,是我们需要重点关注的:HDFS、MapReduce、HBase。

实际上,Apache Hadoop的HDFS是Google File System(GFS)的开源实现。MapReduce是Google MapReduce的开源实现。HBase是Google BigTable的开源实现。

Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。它主要有以下几个优点:1高可靠性2高扩展性3高效性4高容错性。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。而实际上,很多公司提供的大数据产品也是基于Hadoop进行开发的。

数据存储空间占用大

针对数据存储空间占用大,我们需要用到的是“分布式存储”。分布式存储系统,就是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。

前面我们介绍到的Hadoop,其中的HDFS就是现今最流行的分布式存储平台之一。

HDFS原理简要描述

HDFS(Hadoop Distributed File System),是一个分布式文件系统。HDFS有着高容错性(fault-tolerent)的特点,并且设计用来部署在低廉的(low-cost)硬件上。它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以实现流的形式访问(streaming access)文件系统中的数据。

HDFS是一个主从结构的体系,一个HDFS集群是由一个名字节点,它是一个管理文件的命名空间和调节客户端访问文件的主服务器,当然还有的数据节点,一个节点一个,它来管理存储。HDFS暴露文件命名空间和允许用户数据存储成文件。   

对外部客户机而言,HDFS 就像一个传统的分级文件系统。可以创建、删除、移动或重命名文件,等等。

内部机制,是将一个文件分割成一个或多个的块,这些块存储在一组数据节点中。名字节点(NameNode)操作文件命名空间的文件或目录操作,如打开,关闭,重命名,等等。它同时确定块与数据节点的映射。数据节点(DataNode)来负责来自文件系统客户的读写请求。数据节点同时还要执行块的创建,删除,和来自名字节点的块复制指示。这与传统的 RAID 架构大不相同。块的大小(通常为 64MB)和复制的块数量在创建文件时由客户机决定。NameNode 可以控制所有文件操作。

HDFS 内部的所有通信都基于标准的 TCP/IP 协议。

(责任编辑:zxh007)



本文链接像傻瓜一样学习--什么是大数据?
http://www.iot-online.com/art/2012/122823361.html
 
 

声明:物联网在线转载作品均尽可能注明出处,该作品所有人的一切权利均不因本站转载而转移。作者如不同意转载,即请通知本站予以删除或改正。转载的作品可能在标题或内容上或许有所改动。





返回页首


TopeWay Business Media


网站导航|帮助| 关于我们|隐私政策|联系我们|安全承诺

Copyright © 2011 Iot-online.com. 本网站所有内容均受版权保护。
未经版权所有人明确的书面许可,不得以任何方式或媒体翻印或转载本网站的部分或全部内容。


粤ICP备10057207号