close
当前位置: 物联网在线 > IT技术 > 云计算 >

大数据和云计算的冲突

  最近,IT行业专家在参加相关会议时发现了一个隐藏的主题,那就是虽然很多人将关注的重点转移到基于云计算的架构(混合云)以及所需要的云管理平台,但会议的报告表明,很多人都承认并没有密切关注全球数字数据量的巨大增长。

 

  存储供应商PureStorage公司的演讲报告引用了其他两家供应商的两个数据点:首先,思科公司2017年6月发布的白皮书“Zettabyte时代:趋势与分析”推断了互联网带宽的增长。其次是由希捷公司委托IDC公司进行研究的调查报告“数据时代2025”推测了全球数据增长的趋势。PureStorage公司结合了这两家公司的推断,得出了结论。如下图所示。

 

\

  PureStorage公司的报告描述了全球数据增长和全球互联网带宽增长之间的冲突

 

  如果这些趋势成为现实,并且有足够的理由认为这些预测是合理的,那么这些趋势将在未来几年对计算和数据格局产生重大影响。并将对云计算的应用产生特别的影响。注意:云计算是真实的,将成为未来IT环境的重要组成部分,但是IT部门认为它是一种灵丹妙药这种简单化的想法,会让人想起当初网络热潮的破灭。而人们知道将会有什么样的结果。

 

  不能回避的问题

 

  无论如何,所有IT都有两个核心要素:数据与数据的逻辑。每个使用大数据的人都知道:要使用大量的数据,首先需要对数据进行处理,而其处理都会产生一个传输瓶颈,并严重影响其性能,并且这种逻辑的任何功能都变成纯粹的理论。

 

  即使有少量的数据,这也可能是因为延迟而发生。例如,企业将其应用程序服务器迁移到云端,同时将数据库服务器保留在本地,这可能在理论上可行,但是当应用程序对数据库与数据库之间的网络延迟敏感时,就根本不起作用。对于少量的数据来说,情况就是如此。这就是为什么许多组织都在尝试调整软件的原因,使其对延迟的敏感度降低,从而能够进入云端。但是,如果数据量很大,则需要将数据处理和数据彼此靠近,否则就无法工作。企业增加对大量并行性的需求来处理这些数据,并获得Hadoop和其他处理大量数据问题的体系结构。

 

  现在,全球的数据量呈指数增长。如果IDC公司的推测成为事实的话,那么在几年的时间里,全世界将存储大约50ZB的数据。另一方面,虽然互联网传输数据的总容量也在增长,但增长速度更为缓慢。在全球数据量增长到50ZB的同一时期,互联网总带宽将达到每年2.5ZB(如果思科的推断成为事实的话)。

 

  从这两个推断(并不是不合理的)中得出的结论是,全球可用的互联网带宽远远不能满足移动大量数据的需求。而且这也忽略了目前大约80%的带宽用于流媒体视频的事实。因此,即使企业已经针对核心应用程序中的延迟问题编写了代码,对于数据量较大的情况,也会出现带宽问题。

 

  现在这个隐患实际上成为了一个问题吗?如果处理或使用这些数据在本地部署的数据中心发生的话,也就是说在同一个数据中心中存储数据。但是,一方面,数据量呈指数增长,另一方面,全球各行业也在积极寻求云战略,就是把将所有类型的工作负载都迁移到云端,即使是“无服务器”(例如,AWS Lambda),这样的做法也是绝对极端的。

 

  假设只有小规模的结果(从庞大的数据集中计算出来)也许会有所帮助,因为大量数据的实际价值来自它们的结合。这可能意味着将来自不同所有者的数据(例如企业的客户记录与来自Twitter的数据)结合起来。而这所有不同的集合将会成为一个难题。

 

  所以,人们看到的是两个相反的事态发展。一方面,人们都忙于适应基于云的体系结构,这种体系结构最终是基于分布式数据的分布式处理。另一方面,人们使用的数据量越来越大,必须将数据和处理整合到一个物理位置。

 

  那么这意味着什么?

 

  人们可以预期,Hadoop在应用程序架构层面所做的工作也将在全球范围内发生:庞大的数据集将成为使数据的逻辑具有意义的吸引力。而那些庞大的数据集将会被吸引到一起。

 

  举个例子:许多公司现在都在努力减少移动数据的需求。因此,在物联网领域有很多关于边缘计算的讨论:本地处理传感器和其他物联网设备的数据。当然,这也意味着处理过程也必须是本地化的,可以放心地假设一下,企业不会在一组传感器中拥有同样的计算能力,而不是在大分析中可以做到的设置。或者:也许自主驾驶汽车的数据很可能不会再采用Hadoop集群,而可以通过这种方式来最小化数据流量,但以计算量为代价。

 


(责任编辑:ioter)

用户喜欢...

无服务器化是云计算的未来吗?

云计算对许多公司来说是一个福音,使首席信息官们能够关闭服务器甚至关闭数据中心。首席信息官们可以在快速增...


量子计算开启云计算通往新世界的大门

增强现实、虚拟现实、人工智能、机器人、实时分析和机器学习算法都需要云计算提供无限快速且无限计算能力和无...


2018年云计算会发展成啥样?离不开这六大趋势

除了具有成本效益之外,云计算应用在企业中的其他优势包括:简化IT管理和维护、内置安全性以及易于部署的模式等...


云计算的发展将让防火墙走向消亡

行业专家认为,云计算、混合环境、移动访问以及在线应用程序已经使得网络防火墙变得过时,数据中心运营商应该...


如何让云计算部署和应用继续前行

调查表明,40%的企业并没有将工作负载迁移到云计算。不采用或取消云计算解决方案的典型因素是传统数据中心系统...


盘点云计算2017:公有云格局初定,政务云将成未来主战场

在过去的2017年中,我国云计算产业发展迅猛,政务云更是成为各大云厂商竞相争夺的香饽饽。截至2017年底,获得工信...


车子自闭了百年,该让车子“出社会”了

汽车一旦具备物联网的感测能力、网络联机能力后,即成为社会的一员,发挥“分享”、“共有”的各种可能。车与...


智能家居为何需要大数据, 大数据在智能家居领域的贡献是什么?

大数据分为大数据存储和大数据分析,属于两种截然不同的计算机技术领域,大数据存储用于大数据分析。大数据存储重点在于研发可以扩展至PB甚至EB级别的数据存储平台;大数据分析关注在...


物联网、人工智能时代来临 五大隐忧不可不提防

随物联网/人工智能时代来临,“弱人工智能”已先渗入人类生活,各界不得不更早审视所有可能影响人工智能范畴,...


云计算是如何做到对企业“通吃”的?

企业选择云计算,可以自由在“云”端资源池取用或扩展资源,支持各类程序运转,但无需为各类基础软硬件忧心,...