close
当前位置: 物联网在线 > IT技术 > 大数据 >

英特尔深度学习产品综述:如何占领人工智能市场

大数据

2017 年第一季度,英伟达数据中心收入同比增长 63%,总体收入也得到增长。这一显著增长主要归功于大型 IT 公司,如谷歌和亚马逊主要基于英伟达 GPU 来加速其人工智能云产品的研发。相较而言,在数据中心领域处于霸主地位的英特尔仅增长了9%。如此悬殊的差距表明,市场中有越来越多的公司正采用深度学习技术;但英特尔已经增加了在深度学习方面的投入与发展力度。本文将就英特尔近期的深度学习产品表达一些见解。

英特尔的人工智能产品

英特尔加强了人工智能硬、软件领域的开发工作。英特尔已在数据中心领域发布了 Xeon 和 Xeon Phi 处理器用于机器学习及其他高性能计算(HPC)应用的通用性案例。为了满足对人工智能日益增长的需求,英特尔还推出了两个用于深入学习模型训练和高效推理的优化产品:

训练:英特尔 Xeon 处理器 + 英特尔深度学习引擎「Lake Crest」,「Lake Crest」具有同类之最的神经网络性能,并能提供前所未有的高带宽互连的计算密度。

推理:英特尔 Xeon 处理器 + FPGA(ARRIA 10)。FPGA 引擎可定制和编程,能提供带有用于机器学习推理的更高perf/w 的低延迟以及灵活的精度。该解决方案专为机器学习应用的高效推理和实时预过滤而设计。

下述章节将提供有关 Lake Crest 、英特尔 FPGA 解决方案 ARRIA 10 以及 Xeon Phi 深度学习模型训练评估结果的更多细节。

Lake Crest

英特尔深度学习引擎「Lake Crest」是一款新型芯片产品,可实现神经网络计算的硬件级优化。与可编程的 FPGA 相比,硬件网络的优势主要在于:像 Lake Crest 这样的芯片在运行时能与代码相适应,并且网络也会在硬件层面进行更新。Lake Crest 具有基于架构的张量,其内存层次结构具有以下特点:高维度(> 2)张量是默认的数据类型;没有应用缓存机制,由编译器分配内存。这些张量可读为转置或定期。它始终具有 ECC 保护,且应用比 DDR4 快 12 倍的 HBM2 RAM。

Lake Crest 的另一项重要创新是数据传输,并拥有高带宽互连——具有 6 个用于 3D 环面互连的双向链接,这些链接比 PCIe快 20 倍。Lake Crest 的 12 个计算单元直接连接到所有其他计算单元,其吞吐率高达每秒 100 千兆字节。

Lake Crest 支持用于深度模型的 16 个 FlexPoint,且聚焦于优化占据大部分神经网络执行时间的 Mat-Mult 和 Convolution 。它还支持如(A ^ 2 * 4B)+ C 这样复杂的 GEMM 函数、自动矩阵阻塞以及部分乘积相加等。

The specific data type designed in Lake Crest can be seen in Figure 1

在 Lake Crest 中设计的具体数据类型如图 1 所示。

大数据

图 1: Lake Crest 支持的数据类型(图片来自英特尔)。

FlexPoint 引擎能够实现基于 12x100Gbps  interc 和 32 GB HDM2 RAM 的 50TOP。 2017 年底将推出基于深度学习平台的Lake Crest,而 2018 年底将推出下一代英特尔深度学习芯片「Spring Crest」,其能使用 8g winograd 实现 80-90 的TOP。

Arria 10 FPGA

Arria 10 是英特尔目前用于机器学习的最新一代 FPGA,它的计算能力可以单精度达到 1.5 TF,Int16达到 3 个 TOP,Int8 达到 6 个 TOP 。2017年末将计划发布下一代 FPGA ——「Stratix 10」,它的计算能力将更强大,单精度高达 9 TF,而 Int16 / 8 则会高达 18/36 TOP。

英特尔为安装 Arria 10 FPGA 模块提供了两种选择:作为单独的 PCIe 组件进行安装,即将来的「离散」版本;另一方面,它可被集成到在内部与处理器直接相连的 Xeon 处理器包中,并在外部与 FPGA 模块之间直接提供一个连接管道,从而实现灵活的数据访问,这便是「集成」版本。

表 1 和 2 显示了使用 Arria 10 FPGA 组件的 Xeon 处理器的吞吐量以及能耗。(所有统计数据收集自英特尔的公开资料。)

大数据

表 1:使用 Arria 10 离散版本的英特尔 Xeon

大数据

表 2:分类任务中「集成」版本的吞吐量。

表中的结果基于以 224x224x3 作为输入、1000×1为输出的 AlexNet 分类。

Xeon Phi Knights Mill

you might also like

  • 大规模爬虫流程总结
  • 4个小例子告诉你,如何成为一名数据极客
  • Ayla CEO大卫.弗里德曼:你应该了解的五种物联网大数据
  • TalkingData首席金融行业专家鲍忠铁:18亿数据解读移动互联网
  • See技术总负责人夏健钊:深度学习与大数据驱动图片电商化
  • 人工智能黑客讲述:如何欺骗运用机器学习的安全软件?
  • MIPS CPU持续挑战极限拓展高低端产品阵容
  • 数据堂肖永红:数据交易的是使用权或数据的增值,而不是数据本身(PPT附下载)
  • 互联网征信中的信用评分模型
  • 如何用亚马逊弹性MapReduce分析大数据?

  • (责任编辑:ioter)