部署大数据 考虑五个问题以保证你走上正确的道路

大数据是一个含糊的术语。因此,企业用户应该了解其含义,必须理解大数据实际上能做什么及其局限性是什么。在绘制大数据战略蓝图的时候,提出一些恰当的问题保证企业能够得到有用的信息是非常重要的。

企业担心落在竞争对手的后面和利用大数据实现各种业务目标的同行的后面。但是,在被大浪卷走之前,你要后退一步并且考虑五个问题以保证你走上正确的道路。

1、你的问题是什么?

这似乎是一个显而易见的问题。但是,感受到压力要成为数据驱动的企业的那些公司也许会冒进,不首先恰当地定义问题(或者机会)。你是不能把你需要的数据放入Excel表格的商务分析师吗?你首先不能访问你的公司的大数据吗?你是负责减少查询返回的等待时间的首席信息官吗?你是对查询结果需要等待数天或者数星期感到厌烦的非技术用户吗?你的数据是结构化的还是非结构化的?还是拥有上述所有问题?

当然,你可能面对的问题之一是预算,特别是在创业企业和中小企业中。数据仓库和专用硬件的价格让他们望而却步。如果可承受性是一个问题,你要根据在商品化硬件上运行的软件制定一个战略,不需要数据仓库。

2、你为免费(开源)软件支付的价格是什么?

围绕Hadoop一直有许多争论。虽然Hadoop对于某些企业需求来说是一个非常好的开源软件解决方案,但是,免费并不意味着不支付任何费用。Hadoop在商品化硬件上运行。由于它需要电源和网络连接,这就需要投资。

核心的Hadoop发布版是免费的开源软件。但是,有些厂商有专有的Hadoop发布版。即使开源软件发布版也有专有的插件管理工具。除非你从Apache软件基金会下载Hadoop组件,否则,你会像使用商业软件一样遇到同样的软件许可证和厂商锁定等令人担心的问题。

我们不要忘记部署和管理这个技术所需要的数据科学家的工资。如果你有足够的资金支付IT和硬件费用,Hadoop也许对你非常合适。但是,Hadoop并非适用于一切需求。这就引出了下一个问题。

3、规模重要吗?(你的企业规模和你的数据的规模)

围绕大数据的谈话主要是PB级的数据。然而,大多数企业使用的数据仅达到TB级。当在TB级的范围内工作的时候,大型机器集群的开销也许不能得到投资回报。你会发现那个遗留的解决方案对于你的企业需求也许规模太大,是不必要的。

如果是在TB级范围内,你就是在使用一台服务器的范围之内。你可以使用一台服务的解决方案,从而降低成本和简化。仅仅在10年前,一台服务器只能处理GB级的数据。但是,现在的商品化硬件已经能够处理TB级的数据,从而提供了以前不能提供的选择范围。

4、你的数据在哪里?

你的大多数数据是在企业内部的,你的策略与大多数数据在云中的企业有所不同。例如,如果你的数据在亚马逊或者Rackspace的云服务中,那么,在那个框架中运行大数据解决方案是有意义的,因为数据很容易在那个环境中迁移。然而,如果你的大多数数据在企业内部并且你正在考虑在云中运行你的大数据查询,你要三思。大数据是很难迁移并且保持同步的。当上载到云的时候会有许多挑战。在这种情况下,大数据最好保持在企业内部的环境中。

5、各种技术有什么区别?

目前有三种类型的技术用于大数据分析:软件数据库设备、硬件数据库设备和分布式数据库。

软件数据库设备部署在商品化硬件上,一般部署在一台计算机上,因此,价格便宜,结构简单。这种设备的例子包括SQL服务器或者MySQL等关系数据库以及SiSense的ElastiCube技术。

硬件数据库设备包括与专有硬件(也就是价格昂贵的硬件)捆绑销售的专有软件。专有硬件的技术规格比商品化硬件更强大,因此价格可以高50倍。

分布式数据库是指部署在计算机集群中的软件,可以平行运行资源密集型的处理操作。这包括复杂的架构。

你可能遇到的其它技术都是不能直接处理大数据的规模较小的技术,如内存处理或者联机分析处理(OLAP,On Line Analytical Processing)。上载到这些数据中心技术的数据在上载之前要显著删减,一般采用上述的一种大数据技术。

用户喜欢...

物联网三阶段演进 市场、安全、人力与并购均有影响

物联网演进可分为三个阶段,一、串连各系统;二、智能互连的对象不仅将终端设备连网,更让设备之间彼此相连,...


AI和大数据2017“成长的烦恼”

人工智能和大数据在2017年的发展遇到了以下10个成长的烦恼: 1.人工智能无IQ标准 人工智能领域发展最好的一个领域是无人驾驶,而究其原因不外乎其拥有了从L0到L5的全球通用标准。但是在...


大数据和云计算的冲突

最近,IT行业专家在参加相关会议时发现了一个隐藏的主题,那就是虽然很多人将关注的重点转移到基于云计算的架构...


车子自闭了百年,该让车子“出社会”了

汽车一旦具备物联网的感测能力、网络联机能力后,即成为社会的一员,发挥“分享”、“共有”的各种可能。车与...


智能家居为何需要大数据, 大数据在智能家居领域的贡献是什么?

大数据分为大数据存储和大数据分析,属于两种截然不同的计算机技术领域,大数据存储用于大数据分析。大数据存储重点在于研发可以扩展至PB甚至EB级别的数据存储平台;大数据分析关注在...


物联网、人工智能时代来临 五大隐忧不可不提防

随物联网/人工智能时代来临,“弱人工智能”已先渗入人类生活,各界不得不更早审视所有可能影响人工智能范畴,...


孩子王到娱乐霸主!看“迪斯尼乐园”成功的两大关键

2013年迪斯尼研发了智能服务系统,整合了网站、手机应用及魔法手环三部分,形成一个典型的物联网系统...


马云:云计算和大数据将是21世纪的石油

马云认为,数据在21世纪,就会像上一个世纪的石油一样,“起初没人关心石油能用来干嘛”,但是之后会成为极具价...


人工智能混搭自动农业机械,会是未来农业的理想型吗?

美国农机新创公司 Abundant 就发明了“采苹果机器人“,它具有经机器学习调教过的视觉算法,能精准判断每一个苹果...


智慧农业进行式:物联网+大数据,怎么成为农业迈向未来的起跑点?

相信物联之家读者对物联网的科技趋势一点不陌生,但运用在农渔畜牧业中,物联网技术大幅提高了环境资料收集能...


全球物联网时代,农业走向智慧 如何跨领域跨专业“打群架”?

近十年被称为物联网时代,全球商机上看1.5兆美元,各行各业纷纷投入资源做数字化发展,而台湾农业在研发技术占...


机器会沟通、数据会预测?再谈工业 4.0 是什么

工业 4.0 其实亦希望做到将整个流程全自动化,例如机器之间懂得自动交换情报并进行决定,除物联网之外,另一最为...


智慧安全 提前阻挡意外 精准严密守护 (案例)

透过庞大数据数据的加以分析与比对,预测防范犯罪或意外的发生,更可能破解恐怖分子攻击的意图与目标地点等重...


工业、企业、消费者领域物联网安全趋势分析

对消费者来说,物联网有助于提升生活的舒适度、改善生活方式,并节省开销。对产业来说,物联网能增进效率、节...


公共安全物联网:利用数据让城市更安全

2017年10月1日,拉斯维加斯市曼德勒海湾酒店附近发生枪击事件。截止10月3日,枪案已造成至少59人死亡,527人受伤 。...


智能制造跃进 工业4.0与物联网、大数据虚实整合

在工业4.0与物联网、大数据等科技的带动下,硬件革新、 软件升级、软硬整合不断演进,智能制造已成为不可挡的主...