英特尔助阿里云大数据计算再创新高 打破世界纪录

  9月26日上午,在2019云栖大会上,刚加入阿里巴巴不久,目前担任阿里巴巴副总裁、阿里云智能计算平台事业部总经理的“Caffe之父”贾扬清在其主题演讲《让AI拥有无限可能的开发平台》中介绍了飞天大数据平台和飞天AI平台,作为飞天大数据平台架构核心之一的大数据计算服务MaxCompute和飞天AI平台核心引擎PAI被重点提及。

  在云栖大会期间让人目不暇接的各项重大新品与战略发布消息中,飞天大数据平台中MaxCompute与飞天AI平台中PAI联合公布的成绩单也并不逊色——由英特尔支持的阿里云MaxCompute和PAI,成为在国际大数据性能基准测试TPCx-BB中,目前全球唯一一家通过100TB数据规模测试的系统。而在30TB数据规模的测试中,阿里云与排名第二的系统相比,在性能快了近一倍的同时,成本降低了约一半。

  “支撑阿里巴巴经济体近全量大数据业务”——MaxCompute

  MaxCompute是一种快速、完全托管的PB级数据仓库解决方案,使用户可以经济高效地分析处理海量数据。它可以提供简单易用的多功能计算服务,具备极致弹性能力与完善的平台服务,同时能够帮助用户降低总体拥有成本。

  MaxCompute在阿里巴巴的地位是至关重要的,据阿里云计算平台研究员、高级总监关涛先生介绍,飞天平台在2009年建立时一共分为三大部分,其中之一就是现在的MaxCompute,主要实现分布式计算,而另外两个就是EB级分布式存储系统“盘古”与数万台机器规模分布式调度系统“伏羲”。

  “MaxCompute的作用分成两部分,一部分是阿里巴巴内部,我们存储了阿里巴巴99%的数据,承接95%以上的计算需求,可以理解为,MaxCompute就是阿里巴巴这个经济体的大数据内存,是(几乎)所有阿里的数据,如淘宝、支付宝、天猫、拍立淘,以及各种人工智能应用的大数据计算平台。大概从2015年开始,MaxCompute在云上提供对外云服务,目前也是阿里云排名前十的旗舰产品之一。”关涛说道。

  

“飞天AI平台核心AI开发环境和框架引擎”——机器学习PAI

 

  机器学习PAI是飞天AI平台中的核心产品,构建在阿里云MaxCompute等计算平台之上,在机器学习大规模分布式训练场景拥有非常强的性能表现,在本次TPCx-BB的比赛中,PAI基于MaxCompute,在逻辑回归、Kmeans、朴素贝叶斯三个算法的表现性能上取得很好的成绩

  除此之外,机器学习PAI还支持MPI, MapReduce, PS, Graph等多种算法引擎,支持上百种常用算法,在算法上持续创新优化,性能和正确率上有显著的提升。机器学习PAI不仅为企业提供快速拉起的软硬件一体AI编程环境,还为企业提供被集成的AI解决方案,包括PAI算法的支持客户二次开发,PAI的API服务支持客户定制化AI平台,PAI编译优化的能力支持客户集成到自己的平台环境等

  目前大数据领域最佳的参考标准TPCx-BigBench(TPCx-BigBench)

  TPCx-BB是由国际标准组织TPC(Transaction Processing Performance Council)制定的一项大数据性能基准测试,通过最常用大数据应用场景来全面衡量系统软硬件性能,是最终客户选择最佳软硬件平台的重要参考标准。

  谈到选择TPCx-BB来验证MaxCompute平台性能的原因时,关涛表示首先TPC是一个相对比较权威的基准测试组织;其次,TPCx-BB测试中同时包含了大数据、机器学习工作负载,既有结构化的24小时数据,也包含非结构化数据,有30种不同的维度基准联合测评,这代表着更丰富的测试结果,测试环境更能贴近越来越丰富的用户作业场景。

  软硬件双赛道发力,英特尔为阿里飞天平台(MaxCompute+PAI)赋能

  在MaxCompute/PAI多年的系统优化过程中,英特尔作为阿里巴巴重要的合作伙伴,提供了许多助力。英特尔作为测试基准中BigBench的重要贡献者,与阿里云开发团队深入合作,共同扩展TPCx-BB测试集,增加对MaxCompute计算引擎的支持,并一起在TPCx-BB委员会中共同推广MaxCompute/PAI,促成TPCx-BB官方测试集升级,继而正式纳入阿里云MaxCompute/PAI计算引擎的支持。

  据英特尔高级首席工程师、大数据分析和人工智能创新院院长戴金权先生介绍,英特尔与阿里巴巴在MaxCompute/PAI平台的基准测试方面有近3年的合作历史。双方合作涵盖软硬件两个层面:在硬件层面上,MaxCompute/PAI平台基于搭载了英特尔至强可扩展处理器的服务器,通过充分发挥英特尔至强处理器的潜力,获取了强大的性能。此外还使用了英特尔傲腾数据中心级持久内存,帮助提升数据存储能力;在软件层面上,英特尔与阿里巴巴共同合作,用大量英特尔工具去分析性能,找到性能的瓶颈。与此同时,针对系统中的众多核心算法或算子,双方工程师也通力合作,帮助提高系统性能。

  随着数据规模的不断扩大,作为系统基石的硬件基础设施,将面临新的挑战,也将产生新的自身发展趋势。戴金权表示:“对于英特尔来说,我们认为硬件计算架构将来的趋势,会是一个异构或者超异构。包括英特尔自己也非常看重标量、矢量、矩阵、空间等等各种超异构架构,来支撑大数据处理分析,包括机器学习等等工作负载的计算。”

  当然,戴金权补充表示,除了硬件之外,软件的升级也是提高系统性能的必要手段。通过软硬件升级叠加,将得到成倍数量级的提升。

  对于未来双方在飞天大数据和AI平台(MaxCompute/PAI)持续优化上的合作,戴金权表示,双方在新的硬件架构技术平台有非常紧密的合作,包括上文提到的超异构的架构,共同探索如何更好地利用新的技术,为大数据处理分析、机器学习平台赋能。另外,双方也合作致力于将AI平台和大数据平台紧密联合,使不同的组件更好地联合在一起,打通整个计算流水线。

用户喜欢...

中国电动汽车百人会助力武汉开发区智能网联路测项目

作为全国10个工信部获批的国家级智能网联示范区,武汉正在加紧开放测试道路的建设工作。从该市的公共资源交易平台网站上获悉,测试道路部分的功能设计与实施(EPC)计划在30天内完成两...


英特尔助力阿里云创造世界纪录 加速大数据计算创新突破

在2019年云栖大会上,英特尔与阿里巴巴共同宣布,在国际大数据性能基准测试TPCx-BB[1]中,由英特尔支持的阿里云MaxCompute以100TB的数据规模创造世界纪录。TPCx-BB是目前业界最全面的端到端大数...


大咖云集,火炬创业成长营导师助力你实现“寒冬”逆袭

2018年经济寒冬席卷中国,2019年中国资本市场寒冬依旧,传统企业仍然面临着经济增速放缓和新兴行业冲击的双重压力。即便是新兴行业,也无法靠一招鲜而独领风骚,一旦创新停滞,取代便在...


经济半年报揭晓消费大势 掌众金服助力消费风险拦截

近日,国家统计局公布的上半年国民经济数据显示,2019年上半年消费支出增长对经济增长的贡献率为60.1%。消费支出中服务消费占比为49.4%,比上年同期提高0.6个百分点。京津冀协同发展、长江...


UCloud重磅发布UIoT-Core物联网平台,助力海量IoT设备云端智能

物联设备爆发增长,5G网络即将商用,IPv6逐渐普及,计算成本下降,以及大数据分析和人工智能技术的快速发展,这些不断涌现的技术浪潮,正在推动我们更快地进入万物智联时代。 近日,...


让大数据助力大服务

这5万块钱,真是太及时了,让俺住上了新房子,店里的生意也没耽误。近日,在山东省阳谷县紫石街上的一家蛋糕店内,店主王桂莹正在为新做好的蛋糕进行包装。今年37岁的王桂莹是进城务...


掌众财富:变革信用逻辑 助金融普惠于民

日前,中国互联网金融协会组织下属单位与中国司法大数据研究院共同研发司法追偿文件智能核验系统项目。 据悉,该项目充分结合协会建设的网贷风险监测系统以及中国法研院研发的相关系...


阿里巴巴PPT:大数据下的数据安全

随着互联网的发展,大数据已经成为人们生活离不开的新元素。在享受大数据带来的便利的同时,你有没有想过它背...


ggplot2又添新神器——ggthemr助你制作惊艳美图

作者:杜雨 今天在浏览ggplot扩展插件目录的时候,又发现了一款神器——ggthemr。 这是继ggplot2的ggtheme包、RColorBrewe...


花旗银行是如何借助大数据创造商业效益的

大数据正渗透到各行各业,那它在银行业又发挥怎样的作用呢?在采访花旗集团数据平台工程总经理迈克尔·西蒙尼之...


开发和管理人工智能产品的十二点建议

当软件开始自己编写代码,你将如何管理产品?IT经理网...


抢夺智能家居市场出口,苹果最快今年夏季推人工智能音箱

正当业界人士“怒其不争”时,有消息传来苹果公司将在今年夏天加入亚马逊和谷歌主导的家庭人工智能助理市场争...


从数据来源、数据生态、数据技术、数加平台等方面,漫谈阿里大数据

作者:拖雷 目前人人都在谈大数据,谈DT时代,但是,大数据是什么,每个人都有自己的一个看法,好比盲人摸象,...


阿里巴巴中国站:用户满意度指标权重计算方法

用户满意度调查是用户体验工作中重要一项活动。在了解整体满意度、一级指标满意度、二级指标满意度外,还需要...


网络直播被严查,机器如何帮助鉴别小黄图?

 近日,文化部将19家不合规定的直播平台列入查处名单。 作为新型的社交互动平台,网络直播与传统的视频网站不同...


英特尔深度学习产品综述:如何占领人工智能市场

2017 年第一季度,英伟达数据中心收入同比增长 63%,总体收入也得到增长。这一显著增长主要归功于大型 IT 公司,如...