close
当前位置: 物联网在线 > IT技术 > 云计算 >

大数据和云计算的冲突

  最近,IT行业专家在参加相关会议时发现了一个隐藏的主题,那就是虽然很多人将关注的重点转移到基于云计算的架构(混合云)以及所需要的云管理平台,但会议的报告表明,很多人都承认并没有密切关注全球数字数据量的巨大增长。

 

  存储供应商PureStorage公司的演讲报告引用了其他两家供应商的两个数据点:首先,思科公司2017年6月发布的白皮书“Zettabyte时代:趋势与分析”推断了互联网带宽的增长。其次是由希捷公司委托IDC公司进行研究的调查报告“数据时代2025”推测了全球数据增长的趋势。PureStorage公司结合了这两家公司的推断,得出了结论。如下图所示。

 

\

  PureStorage公司的报告描述了全球数据增长和全球互联网带宽增长之间的冲突

 

  如果这些趋势成为现实,并且有足够的理由认为这些预测是合理的,那么这些趋势将在未来几年对计算和数据格局产生重大影响。并将对云计算的应用产生特别的影响。注意:云计算是真实的,将成为未来IT环境的重要组成部分,但是IT部门认为它是一种灵丹妙药这种简单化的想法,会让人想起当初网络热潮的破灭。而人们知道将会有什么样的结果。

 

  不能回避的问题

 

  无论如何,所有IT都有两个核心要素:数据与数据的逻辑。每个使用大数据的人都知道:要使用大量的数据,首先需要对数据进行处理,而其处理都会产生一个传输瓶颈,并严重影响其性能,并且这种逻辑的任何功能都变成纯粹的理论。

 

  即使有少量的数据,这也可能是因为延迟而发生。例如,企业将其应用程序服务器迁移到云端,同时将数据库服务器保留在本地,这可能在理论上可行,但是当应用程序对数据库与数据库之间的网络延迟敏感时,就根本不起作用。对于少量的数据来说,情况就是如此。这就是为什么许多组织都在尝试调整软件的原因,使其对延迟的敏感度降低,从而能够进入云端。但是,如果数据量很大,则需要将数据处理和数据彼此靠近,否则就无法工作。企业增加对大量并行性的需求来处理这些数据,并获得Hadoop和其他处理大量数据问题的体系结构。

 

  现在,全球的数据量呈指数增长。如果IDC公司的推测成为事实的话,那么在几年的时间里,全世界将存储大约50ZB的数据。另一方面,虽然互联网传输数据的总容量也在增长,但增长速度更为缓慢。在全球数据量增长到50ZB的同一时期,互联网总带宽将达到每年2.5ZB(如果思科的推断成为事实的话)。

 

  从这两个推断(并不是不合理的)中得出的结论是,全球可用的互联网带宽远远不能满足移动大量数据的需求。而且这也忽略了目前大约80%的带宽用于流媒体视频的事实。因此,即使企业已经针对核心应用程序中的延迟问题编写了代码,对于数据量较大的情况,也会出现带宽问题。

 

  现在这个隐患实际上成为了一个问题吗?如果处理或使用这些数据在本地部署的数据中心发生的话,也就是说在同一个数据中心中存储数据。但是,一方面,数据量呈指数增长,另一方面,全球各行业也在积极寻求云战略,就是把将所有类型的工作负载都迁移到云端,即使是“无服务器”(例如,AWS Lambda),这样的做法也是绝对极端的。

 

  假设只有小规模的结果(从庞大的数据集中计算出来)也许会有所帮助,因为大量数据的实际价值来自它们的结合。这可能意味着将来自不同所有者的数据(例如企业的客户记录与来自Twitter的数据)结合起来。而这所有不同的集合将会成为一个难题。

 

  所以,人们看到的是两个相反的事态发展。一方面,人们都忙于适应基于云的体系结构,这种体系结构最终是基于分布式数据的分布式处理。另一方面,人们使用的数据量越来越大,必须将数据和处理整合到一个物理位置。

 

  那么这意味着什么?

 

  人们可以预期,Hadoop在应用程序架构层面所做的工作也将在全球范围内发生:庞大的数据集将成为使数据的逻辑具有意义的吸引力。而那些庞大的数据集将会被吸引到一起。

 

  举个例子:许多公司现在都在努力减少移动数据的需求。因此,在物联网领域有很多关于边缘计算的讨论:本地处理传感器和其他物联网设备的数据。当然,这也意味着处理过程也必须是本地化的,可以放心地假设一下,企业不会在一组传感器中拥有同样的计算能力,而不是在大分析中可以做到的设置。或者:也许自主驾驶汽车的数据很可能不会再采用Hadoop集群,而可以通过这种方式来最小化数据流量,但以计算量为代价。

 


(责任编辑:ioter)

用户喜欢...

什么是第二代云计算战略?

如今,云计算的应用有着与托管数据中心基础设施类似的趋势。许多数据中心起初获得单一的基础设施供应商的服务,这削弱了单一解决方案的简单性带来的灵活性。随着数据中心的发展,它...


应对云计算中断的6个步骤

企业通常希望公共云为许多应用程序类型提供灵活性、快速可扩展性和可靠性,但公共云并不完美。每个主要云计算提供商都经历过内部系统或存储以及外部资源(如网络连接)的中断。业务中断...


如何让云计算之旅安全顺畅

企业可以采用云计算通过不断的建设、整合、部署、保护、监控和修复提高运营效率。 企业将业务迁移到云端并不容易,但可以安全有效地完成。企业对于业务速度的需求,需要更快地构建的...


如何选择云计算数据仓库服务 7大云计算数据仓库介绍

云计算数据仓库是一项收集、组织和经常存储供组织用于不同活动(包括数据分析和监视)数据的服务。 在企业使用云计算数据仓库时,物理硬件方面全部由云计算供应商负责。对于只看到大量...


福布斯发布云计算企业100强 Stripe仍居榜首

近日,由福布斯与Bessemer Venture Partners和Salesforce Ventures合作推出的榜单福布斯云计算100强(Forbes Cloud 100)正式发布,并在美国旧金山举行盛大的颁奖典礼。 这是福布斯连续第四年推出该榜单,旨...


云计算产业进入新阶段:从全面上云到充分发挥云效能

再过2天位于杭州西南部的一个云栖小镇将成为云计算行业的焦点。9月25-27日,阿里巴巴一年一度的云栖大会就要在这里举行,上千家企业、数万的云计算从业人士会奔赴这里。 在中国公有云市...


IaaS、PaaS、SaaS和托管设备:了解云计算及其提供的内容

软件即服务(SaaS)有两种形式:真实和虚假,人们需要了解如何进行区分。 迁移到云端已成为近年来IT管理中最流行的短语之一。LogicMonitor公司预测,到2020年,83%的企业工作负载将在云端运行。...


IBM能靠混合云改变云计算的格局吗?

回看过往,经过多年的发展,云计算的市场格局已经基本确定,过去几年中,云计算三巨头AWS、微软和谷歌在数据中心等资本上累计支出已经超过了2000亿美金,而且还在不断增加。在产品形态...


哪三个热门市场正在经历云计算带来的颠覆?

云原生计算如今正在成为业界最大和最具影响力的云计算范例。人们需要对其进行了解。 云原生计算可能是当今企业IT中最重要的趋势。从本质上讲,云原生技术将云计算的优势扩展到整个I...


宿州文化产业搭上云计算发展快车

在人们的印象中,位于皖北的宿州是一个农业大市。可是宿州厚积薄发,短短几年就叫响了云都的品牌,引进了一大批云计算相关的优秀企业,建成了一个又一个云平台,为宿州的发展全新赋...