深度学习系列:解密最接近人脑的智能学习机器——深度学习及并行化实现(四)

深度学习

摘要: 深度学习可以完成需要高度抽象特征的人工智能任务,如语音识别、图像识别和检索、自然语言理解等。深层模型是包含多个隐藏层的人工神经网络,多层非线性结构使其具备强大的特征表达能力和对复杂任务建模能力。训练深层模型是长期以来的难题,近年来以层次化、逐层初始化为代表的一系列方法的提出给训练深层模型带来了希望,并在多个应用领域获得了成功。深层模型的并行化框架和训练加速方法是深度学习走向实用的重要基石,已有多个针对不同深度模型的开源实现,Google、Facebook、百度、腾讯等公司也实现了各自的并行化框架。深度学习是目前最接近人脑的智能学习方法,深度学习引爆的这场革命,将人工智能带上了一个新的台阶,将对一大批产品和服务产生深远影响。

深度学习系列:深度学习在腾讯的平台化和应用实践(一)

深度学习系列:Mariana DNN多GPU数据并行框架 微信语音是怎么来的?(二)

深度学习系列:Mariana CNN并行框架与图像识别(三)

深度学习系列:解密最接近人脑的智能学习机器——深度学习及并行化实现(四)

一、深度学习的革命

人工智能(Artificial Intelligence),试图理解智能的实质,并制造出能以人类智能相似的方式做出反应的智能机器。如果说机器是人类手的延伸、交通工具是人类腿的延伸,那么人工智能就是人类大脑的延伸,甚至可以帮助人类自我进化,超越自我。人工智能也是计算机领域最前沿和最具神秘色彩的学科,科学家希望制造出代替人类思考的智能机器,艺术家将这一题材写进小说,搬上银幕,引发人们无限的遐想。然而,作为一门严肃的学科,人工智能在过去的半个多世纪中发展却不算顺利。过去的很多努力还是基于某些预设规则的快速搜索和推理,离真正的智能还有相当的距离,或者说距离创造像人类一样具有抽象学习能力的机器还很遥远。

近年来,深度学习(Deep Learning)直接尝试解决抽象认知的难题,并取得了突破性的进展。深度学习引爆的这场革命,将人工智能带上了一个新的台阶,不仅学术意义巨大,而且实用性很强,工业界也开始了大规模的投入,一大批产品将从中获益。

2006年,机器学习泰斗、多伦多大学计算机系教授Geoffery Hinton在Science发表文章[1],提出基于深度信念网络(Deep Belief Networks, DBN)可使用非监督的逐层贪心训练算法,为训练深度神经网络带来了希望。

2012年,Hinton又带领学生在目前最大的图像数据库ImageNet上,对分类问题取得了惊人的结果[2],将Top5错误率由26%大幅降低至15%。

2012年,由人工智能和机器学习顶级学者Andrew Ng和分布式系统顶级专家Jeff Dean领衔的梦幻阵容,开始打造Google Brain项目,用包含16000个CPU核的并行计算平台训练超过10亿个神经元的深度神经网络,在语音识别和图像识别等领域取得了突破性的进展[3]。该系统通过分析YouTube上选取的视频,采用无监督的方式训练深度神经网络,可将图像自动聚类。在系统中输入“cat”后,结果在没有外界干涉的条件下,识别出了猫脸。

2012年,微软首席研究官Rick Rashid在21世纪的计算大会上演示了一套自动同声传译系统[4],将他的英文演讲实时转换成与他音色相近、字正腔圆的中文演讲。同声传译需要经历语音识别、机器翻译、语音合成三个步骤。该系统一气呵成,流畅的效果赢得了一致认可,深度学习则是这一系统中的关键技术。

2013年,Google收购了一家叫DNN Research的神经网络初创公司,这家公司只有三个人,Geoffrey Hinton和他的两个学生。这次收购并不涉及任何产品和服务,只是希望Hinton可以将深度学习打造为支持Google未来的核心技术。同年,纽约大学教授,深度学习专家Yann LeCun加盟Facebook,出任人工智能实验室主任[5],负责深度学习的研发工作,利用深度学习探寻用户图片等信息中蕴含的海量信息,希望在未来能给用户提供更智能化的产品使用体验。

2013年,百度成立了百度研究院及下属的深度学习研究所(IDL),将深度学习应用于语音识别和图像识别、检索,以及广告CTR预估(Click-Through-Rate Prediction,pCTR),其中图片检索达到了国际领先水平。2014年又将Andrew Ng招致麾下,Andrew Ng是斯坦福大学人工智能实验室主任,入选过《时代》杂志年度全球最有影响力100人,是16位科技界的代表之一。

用户喜欢...

大数据对投资和金融世界的影响

大数据对投资的影响是巨大的,并将改变金融世界和人们的投资习惯。 传统上,投资世界是平淡无奇的,并且具有排他性。投资工具彼此之间差别不大,最低资本要求意味着投资也只能供给少...


大数据如何改变社交媒体营销

如今,大数据在市场营销中发挥重要作用,并以许多方式正在改变社交媒体营销。 大数据是近年来促进营销领域的最令人印象深刻的技术进步之一。虽然在某些圈子里,大数据已经成为一个流...


数据分析是如何推动游戏行业发展的?

2018年,电子游戏行业收入达到434亿美元,再创新高,同比增长18%。这一蓬勃发展的领域孕育了更为复杂和广泛的游戏格式,包括桌面、移动、控制台、VR等。事实上,数据分析师和BI开发人员正...


数据隐私是新的战略差异化因素

数据隐私往往面临很多的风险,创业公司通常有9到18个月的时间在数据隐私方面进行竞争。 在某些情况下,后见之明被视为一种微弱的洞察力。这一观点是显而易见的,因此任何由此产生的洞...


数据共享全自动数据治理 无锡城市大数据中心二期上线

无锡城市大数据中心二期8日正式上线发布。升级后的大数据中心具备全线上数据共享、全自动数据治理、多维度数据标签、集约化数据服务、便捷化多云纳管等多种功能,将支撑无锡智慧城市...


大数据在智慧城市建设中的深度应用

随着全球城市化发展的不断衍进,当前城市发展面临着巨大的挑战,对城市运行与管理也提出了新的要求。以中国为例,城市化发展尤其迅速,1978年中国城市化率为17.8%,2017年已达到59%,快速...


大数据是否会导致更多量化的战略决策模型?

大数据正在改变组织决策的未来。阿莱因科技大学教授Belkacem Athamena撰写了一篇关于决策中大数据演变的白皮书。由于新的大数据技术使决策更加可靠,因此企业将比以往更加重视量化决策模型...


大数据解读唐诗宋词 用科技“点亮”传统文化

近日,一组可视化数据作品《宋词缱绻,何处画人间》和《唐女诗人群像》在朋友圈刷屏。该作品由浙江大学CADCG国家重点实验室和新华网数据新闻部合作,历时半年完成。团队分析了5.5万首唐...


大数据主导的七大领域 看看你是否身处其中

在《大数据:一场改变如何我们生活,工作和思考方式的革命》一书中,Viktor Mayer-Schnberger和Kenneth Cukier认为,大数据分析是一种革命性的工具,主要用于商业,科学,研究,媒体行业,和社交...


大数据需求使用的六个Hadoop发行版

Apache Hadoop是一个出色的软件框架,允许处理大数据元素。它可以通过采用模块化系统和处理大量数据来使用商用硬件的强大功能。Hadoop可以在不同的发行版中使用,因为公司通常将其作为打包...


大数据与AI主要发展趋势:基础设施、分析层面及应用层面

技术的进步推动着经济和生活的全面数字化,对数据的重视提到了前所未有的高度,数据是资产已经被广泛认可。正如《大数据时代》作者舍恩伯格所说,虽然数据还没有被列入企业的资产负...


大数据技术在在线游戏中产生了巨大的变化

大数据技术给在线游戏带来了巨大的变化。以下将阐述大数据如何在行业中产生重大影响。 没有人否认这些年来网络游戏产业呈指数增长的事实。人们不断回到这些平台的主要原因之一是为游...


大数据企业落户湖北 可提供就业岗位约3000个

推动湖北省大数据产业发展的马达正在发力。8月20日,联投集团与腾讯云计算(北京)公司签署战略合作协议,与北明软件有限公司等8家企业签署落户联投新城合作协议,意向投资额30亿元,可提...


大数据应用尚需打通采集与规范间的藩篱

数字技术是行业、机构发展的战略制高点。达沃斯发布报告显示,全球企业在数字化转型中投入超万亿美元,仅1%达到或超过预期。医疗行业的数字化程度更是远远落后于其他行业,埃森哲(A...


大数据时代如何避免陷入“算法崇拜”?

数据在今天从来没有如此被广泛关注,以往我们毫不在意地填写手机号码等信息,如今却变得谨慎起来,原因是怕自己的隐私泄露,一个手机号码可以关联到自己诸多的数据。但现实当中,一...


大数据服务提供商富数科技获近亿元Pre-B轮融资 达泰资本领投

近日获近亿元 Pre-B 轮融资,达泰资本领投,虹云创投基金及部分老股东跟投。创始人兼 CEO 张伟奇表示,本轮融资将主要用于团队建设,以及重点投入安全多方计算平台(sMPC)的研发。 富数科技...