人工智能和大数据存在什么隐患?

  从数据稀缺到现在有大量的数据,近年来,可用的数据量呈指数级增长,大数据变得无处不在。这是由于数据记录设备数量的巨大增长,以及这些设备之间通过物联网连接。似乎每个人都有收集、分析大数据的力量。

  但是,大数据真的是万能的吗?毫无疑问,大数据已经在某些领域产生了至关重要的影响。例如,几乎每一个成功的人工智能解决方案都涉及大数据处理问题。

  首先要注意的是,尽管AI目前非常擅长在大型数据集中查找模式和关系,但它仍然不是很智能。计算数字可以有效地识别并发现数据中的细微模式,但不能直接告诉我们这些相关关系中哪些实际上有意义。

  相关性和因果关系

  我们都知道“相关性并不意味着因果关系。“然而,人类的大脑天生就会寻找规律,当我们看到曲线倾斜在一起,数据中出现明显的规律时,我们的大脑就会自动给出规律。”

  然而,从统计数据来看,我们仍然无法实现这一飞跃。《虚假相关性》(false)一书的作者Tyler Vigen在自己的网站上对此进行了调侃,还有很多例子比如展示冰淇淋是如何明显地导致许多坏事的,从森林大火到鲨鱼袭击和脊髓灰质炎爆发。

  看看这些情节,人们可能会争辩说,我们很可能早就应该禁止冰淇淋了。 而且,实际上,在1940年代的小儿麻痹症例子中,公共卫生专家建议人们停止吃冰淇淋作为“反政治饮食”的一部分。幸运的是,他们最终意识到小儿麻痹症暴发与冰淇淋消费之间的相关性是“完全是由于小儿麻痹症的爆发在夏季最为普遍”。

  在统计中,虚假关系或虚假相关性是一种数学关系,其中两个或多个事件或变量相关联,但由于某种偶然的或某些第三个未见因素的存在而因果相关(称为“常见响应”变量”、“混杂因素”或“潜伏变量”)。这样的“潜伏变量”的例子可以是冰淇淋销量与鲨鱼袭击之间的相关性(虽然冰淇淋销量的增长不会导致鲨鱼袭击人们)。但是,这两个数字之间有一个共同的环节,即温度。较高的温度导致更多的人购买冰淇淋以及更多的人去游泳。因此,这个“潜变量”确实是表观相关性的原因。幸运的是,我们已经学会将因果关系与因果关系分开。而且,在炎热的夏日,我们仍然可以享受冰淇淋,而不必担心小儿麻痹症爆发和鲨鱼袭击!

  相关性的力量和局限性

  有了足够的数据,将会发现计算能力和统计算法的模式。但并不是所有的模式都有意义,因为虚假模式的数量很容易超过有意义的模式。将大数据与算法结合起来,如果能正确地应用于解决问题,将是一个非常有用的工具。然而,没有科学家会认为你可以通过单独处理数据来解决这个问题,无论统计分析是多么强大,您应该始终基于对要解决的问题的基本理解来进行分析。

  数据科学是科学的终结吗?

  2008年6月,《连线》(Wired)杂志前主编C. Anderson写了一篇颇具煽动性的文章,题为《理论的终结:数据洪流使科学方法过时》(The End of Theory: The Data Makes The Scientific Method Obsolete)。“相关性取代因果关系,即使没有连贯的模型和统一的理论,科学也能进步。”

  这种方法的强度和通用性依赖于数据量:数据越多,基于计算发现的相关性的方法就越强大和有效。我们可以简单地把数字输入计算机,让统计算法自动发现有趣的模式和见解。

  但是,这种简化的分析方法也存在一些潜在的陷阱,可以通过John Poppelaars在博客上找到的示例很好地说明 :

  假设我们要为某些变量Y创建一个预测模型。例如公司的股价、在线广告的点击率或下周的天气。接下来,我们收集所有可以使用的数据,并将其放入统计过程中,以找到Y的最佳预测模型。常见的过程是首先使用所有变量对模型进行估计,筛选出不重要的变量,然后使用所选的变量子集重新估算模型,然后重复此过程,直到找到重要的模型为止。

  但是,Anderson提出的分析方法存在一些严重的缺陷。我选择了一个实例,从0到1的均匀分布中抽取100个样本,为Y创建了一组数据点,所以它是随机噪声。接下来,我通过从0到1之间的均匀分布中抽取100个样本,创建了一组50个解释变量X(I)。因此,所有50个解释变量也是随机噪声。我使用所有的X(I)变量来预测y,估计一个线性回归模型。因为没有任何相关的东西(所有的均布和自变量),所以期望R²(0),但实际上不是。结果是0。5。对于基于随机噪声的回归来说还不错!幸运的是,这个模型并不重要。逐步剔除不显著的变量,重新估计模型。重复这个过程,直到找到一个重要的模型。经过几个步骤后,发现一个显著性模型,调整后的R平方为0.4,7个变量的显著性水平至少为99%。再次,我们是在回归随机噪声,它绝对没有关系,但我们仍然找到一个有7个重要参数的显著模型。如果我们只是将数据输入统计算法来寻找模式,就会出现这种情况。

  数据集越大,噪声越强

  最近的研究证明,随着数据集的增长,它们必定包含任意相关性。这些相关性只是由于数据的大小而出现,这表明,许多相关性都是虚假的。不幸的是,很多信息往往表面表现得很少。

  这是处理多维数据的应用程序中的主要问题。举例来说,假设您从一家工厂的数千个传感器中收集传感器数据,然后挖掘这些数据以获取模式以优化性能。在这种情况下,您很容易被数据表现的表象所迷惑,而不是真正的运营绩效指标。无论从财务上还是在工厂的安全运行方面,这都可能是一个坏消息。

  添加数据和添加信息

  作为数据科学家,我们可能经常会说,改善人工智能模型的最佳解决方案是“添加更多数据”。然而,仅仅“添加更多数据”就能提高模型性能吗?不是这样的。我们应该关注的是“添加更多的信息”。“添加数据”和“添加信息”之间的区别是至关重要的:添加更多的数据并不等于添加更多的信息(至少是有用和正确的信息)。相反,由于盲目地添加越来越多的数据,我们有可能添加包含错误信息的数据,这些错误信息会相应地降低模型的性能。随着数据的大量访问以及处理数据的计算能力,考虑这一点变得越来越重要。

  结论

  那么,上述挑战是否应该阻止您采用以数据为依据的决策? 不,数据驱动的决策将继续存在。随着我们获得更多有关如何最佳利用数据和信息以提高绩效的知识,这些将变得越来越有价值。

  但是要意识到,要使方案成功,不仅需要硬件和大量数据,大数据和计算能力也是重要的组成部分。而且,您应该了解连接数据的基本机制。数据不能说明一切,是人类给数字赋予了含义。数据的数量、种类是无法更改的。

用户喜欢...

大数据对投资和金融世界的影响

大数据对投资的影响是巨大的,并将改变金融世界和人们的投资习惯。 传统上,投资世界是平淡无奇的,并且具有排他性。投资工具彼此之间差别不大,最低资本要求意味着投资也只能供给少...


大兴机场亮相科技感十足 千锋教育培养科技时代精英

作为20年内全球范围规划新建设的最大机场之一,大兴国际机场从开工建设到9月25日正式投入使用,每一步都吸引着全球的目光。借助5G、人脸识别、VR体验等前沿科技,大兴国际机场,值机、...


英特尔助力阿里云创造世界纪录 加速大数据计算创新突破

在2019年云栖大会上,英特尔与阿里巴巴共同宣布,在国际大数据性能基准测试TPCx-BB[1]中,由英特尔支持的阿里云MaxCompute以100TB的数据规模创造世界纪录。TPCx-BB是目前业界最全面的端到端大数...


大数据如何改变社交媒体营销

如今,大数据在市场营销中发挥重要作用,并以许多方式正在改变社交媒体营销。 大数据是近年来促进营销领域的最令人印象深刻的技术进步之一。虽然在某些圈子里,大数据已经成为一个流...


区块链如何改变大数据行业?

很多人都听到过大数据这个术语,它可能出现在与科技行业相关的视频中,也可能出现在人们的办公室里。大数据是2019年的热门话题之一,每个技术爱好者都在讨论它带来的变化和影响。 大数...


应该在云中存储大数据的5个理由

如果不确定如何正确存储大数据,则应该将大数据存储在云中。 信息存储只能通过位于隐蔽位置的传统远程服务器来完成的日子已经一去不复返了。如今采用云端存储数据,其中信息和数据以...


从云计算大数据等方面建立评价体系

中国生产力学会承办的第十九届世界生产力大会将于2019年11月16日至18日在中国成都召开。来自世界不同的国家或地区的工商界领袖、政界人物、行业管理者、生产力科学领域专家学者等相关人...


全球女性智慧共享平台——全球魅力女性学院盛大揭幕

2019年9月14日,全球女性智慧共享平台全球魅力女性学院在中美建交40周年庆典上正式揭幕。美国前总统卡特儿子奇普卡特、全国职业教育教学改革创新指导委员会副主任委员刘延申等各界嘉宾应...


谷歌将追加投资30亿欧元扩大欧洲数据中心

谷歌公司CEO皮查伊今天在芬兰举行的新闻发布会上宣布,谷歌将追加投资30亿欧元扩大欧洲数据中心。 谷歌的这一投资计划包括对芬兰哈米纳数据中心追加投资6亿欧元,使得该公司在哈米纳数...


百度视频8月影视大数据报告 国产片势头强劲

8月,影视剧延续暑期的热度。国产片势头强劲,《哪吒之魔童降世》、《烈火英雄》等影片热度持续飙升;电视剧也很丰富多彩,都市家庭、古装、奇幻等题材的多部高口碑、高热度剧相继登场...


上海市大数据中心与顺丰速运上海公司昨日签署合作框架协议

上海市大数据中心与顺丰速运上海公司昨日签署合作框架协议,今后一网通办服务中,用户在物流寄送方面除了现有的邮政EMS,还可以选择顺丰。上海市委常委、常务副市长陈寅等见证签约仪...


中国电信在宁夏建大型数据中心 总投资额达10亿元

据悉,9月19日上午,在中卫市西部云基地内,中卫市2019年第三季度重大项目集中开工现场推进会正式召开。本次集中开工的项目共有38个,投资总额在55亿元。其中有22.8亿元投资将计划在年度...


促进电子邮件营销转换的5个大数据策略

采用大数据可以显著改进和增加电子邮件营销转换率。企业在电子邮件营销方面可以尝试大数据策略。 大数据几乎在数字营销领域的每个方面都发挥着至关重要的作用,企业可以使用大数据来...


中国大数据市场保持稳定增长

咨询机构IDC最新发布的报告预测,2019年,大数据与商业分析解决方案全球市场的整体收益将达到1896.6亿美元(约合人民币13495.1亿元),这一数字相比2018年增长12.1%。在2019年~2023年的预测期内,全...


贵州大学迎新首次使用大数据

拍张全家福 9月16日,贵州大学迎来了来自全国各地的9436名本科新生,其中包括了7600余名00后小萌新,1800余名90后萌新。迎新现场,由学长学姐们组成的迎新志愿者,从接车、报到、办理入住手...


为什么集成前端和后端数据至关重要?

对于许多企业而言,尽管拥有一流的架构,但他们公司的前端和后端仍然是整个企业的两个独立的部分。前端是客户交互的地方,与后台的集成很少,甚至没有集成,后台是系统运行和数据存...