织梦CMS - 轻松建站从此开始!

物联网在线

当前位置: 物联网在线 > IT技术 > 技术 >

传统数据仓库(DW)分析相对于大数据分析

时间:2011-12-19 16:19:33来源:物联网在线 作者:IOTer 点击:
大数据分析为企业和政府分析非结构化的数据提供了新的途径,这些非结构化数据到目前为止在典型的企业数据仓库的情景中被数据清洗的惯例所拒绝。然而从以上用例明显看出,这些分析在改善企业的运营方面有很长的路要走。我们在未来的日子里将会看到更多的产品和应用系统在这个市场上出现。
为什么大数据分析对企业是很重要

主要的IT公司对分析软件和应用系统供应商的购买已经成为一种日常现象。我们已经看到“大数据分析”这个词汇被使用在许多企业的解决方案中。 
“大数据”是用来表示大量的没有按照传统的相关格式存储在企业数据库中的非结构化数据的总术语。以下是大数据的一般特点。
  • 数据存储量相对于当前企业TB(TERA BYTES)字节的存储限制,定义在PB(PETA BYTES)字节,EXA字节以及更高的容量顺序。
  • 通常它被认为是非结构化数据,并不适合企业已经习惯使用的关系型数据库之下
  • 数据的生成使用的是数据输入非传统的手段,像无线射频识别(RFID),传感器网络等。
  • 数据对时间敏感,且由数据的收集与相关的时区组成。
在过去,专业术语“分析”应用于商业智能(BI)世界来提供工具和智能,通过对各种各样可能的信息视角的快速的、一致的、交互式访问获得洞察力。 
与分析的概念非常接近,数据挖掘已经应用于企业以保持关键监测和海量信息的分析。最大的挑战就是如何通过大量的数据挖掘出所有的隐藏信息。 
传统数据仓库(DW)分析相对于大数据分析 
企业数据的分析朝着在一段时间内在那种内容中的信息的有意义的洞察,是大数据分析区别于传统数据仓库分析的原因所在。下表总结了一些它们之间的差别。
传统数据仓库分析
大数据分析
传统分析对已知的数据范围中好理解的数据进行分析。大多数数据仓库都有一个精致的提取、转换和加载(ETL)的流程和数据库限制,这意味着加载进数据仓库的数据是容易理解的,洗清过的,并符合业务的元数据。
大数据最大的优点是针对传统手段捕捉到的数据之外的非结构化数据。这意味着不能保证输入的数据是完整的,清洗过的和没有任何的错误。这使它更有挑战性,但同时它提供了在数据中获得更多的洞察力的范围。
传统分析是建立在关系数据模型之上的,主题之间的关系在系统内就已经被创立,而分析也在此基础上进行。
在典型的世界里,很难在所有的信息间以一种正式的方式建立关系,因此非结构化以图片、视频、移动产生的信息、无线射频识别(RFID)等的形式存在,被考虑进大数据分析。绝大多数的大数据分析数据库基于纵列数据库之外。
传统分析是定向的批处理,而且我们在获得所需的洞察力之前需要每晚等待提取、转换和加载(ETL)以及转换工作的完成。
大数据分析是利用对数据有意义的软件的支持针对于数据的实时分析。
在一个传统的分析系统中,平行是通过昂贵的硬件,如大规模并行处理(MPP)系统和/或对称多处理(SMP)系统来实现的。
当在市场上有大数据分析的应用系统时,它同样可以通过通用的硬件和新一代的分析软件,像Hadoop或其他分析数据库来实现。
大数据分析用例 
基于用例,企业可以理解大数据分析的价值和在大数据分析的帮助下如何解决传统的问题。以下是一些用法。 
客户满意度和保证分析:也许这是基于产品的企业所担心的最大的一个领域。在当今时代,没有一个清晰的方式来衡量产品的问题和与客户满意度相关的问题,除非他们以一个正式的方式出现在一个电子表格中。
  • 信息质量方面,它是通过各种外部渠道收集的,而且大多数时候的数据没有清洗
  • 因为数据是非结构化数据,无法关联相关的问题,所以长期的解决方案提供给客户
  • 分类和分组的问题陈述都缺失了,导致企业不能对问题进行分组
从上面的讨论中,对客户满意度和保证分析使用大数据分析将帮助企业在急需的客户注意力设置中获得洞察力,并有效地解决他们的问题以及在他们的新产品线上避免这些问题。 
竞争对手的市场渗透率分析:在今天高度竞争的经济环境下,我们需要通过一种实时分析对竞争者强大的区域和他们的痛点进行衡量。这种信息是可适用于各种各样的网站、社交媒体网站和其他公共领域。对这种数据的大数据分析可以向企业提供关于他们产品线的优势、劣势、机遇、威胁等非常需要的信息。 
医疗保健/流行病的研究和控制:流行病和像流感这样的季节性疾病在人群中以一定的模式开始,如果没有及早发现和控制,它们就会传播到更大的区域。这对发展中以及发达的国家都是一个最大的挑战。当前绝大部分时间的问题是人们之间的症状各异,而且不同的医护人员治疗他们的方法也不同。人群中也没有一种常见的症状分类。在这种典型的非结构化数据上采用大数据分析将有助于地方政府有效地应对疫情的情况。 
产品功能和用法分析:大多数产品企业,尤其是消费品,不断在他们的产品线上增加许多功能,但有可能一些功能不会真正地被顾客所使用,而有些功能则更多地被使用,对这种通过各种移动设备和其它基于无线射频识别(RFID)输入捕捉到的数据的有效分析,可以为产品企业提供有价值的洞察力。 
未来方向的分析:研究小组分析在各种业务中的趋势,而这种信息通过行业特定门户网站甚至常见的博客可以获得。对这种未来数据的不断分析将有助于企业期待未来,并将这些期待带入他们的生产线。 
总结 
大数据分析为企业和政府分析非结构化的数据提供了新的途径,这些非结构化数据到目前为止在典型的企业数据仓库的情景中被数据清洗的惯例所拒绝。然而从以上用例明显看出,这些分析在改善企业的运营方面有很长的路要走。我们在未来的日子里将会看到更多的产品和应用系统在这个市场上出现。
(责任编辑:ioter)
织梦二维码生成器
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片