IBM声称深度学习取得重大突破 大幅降低处理时间

 IBM声称深度学习取得重大突破 大幅降低处理时间

IBM一直在努力促使计算机变得更智能化、更人性化。本周该公司宣布,已经开发出一种技术,可以大幅缩短处理海量数据并得出有用结论的时间。IBM使用的“深度学习”技术是人工智能(AI)的一个分支,可模仿人脑的工作原理。它也是微软、Facebook、亚马逊和谷歌的重大关注焦点。

IBM的目标是将深度学习系统消化数据所需要的时间从数天缩短到数小时。IBM研究所的IBM研究员和系统加速及记忆主管希拉里·亨特(Hillery Hunter)说,这些改进可以帮助放射学家更快、更准确地找到病变部位,并读取大量医学图像。

到目前为止,深度学习主要是在单一服务器上运行的,因为在不同计算机之间移动大量数据的过程太过复杂。而且,如何在许多不同服务器和处理器之间保持数据同步也是一个问题。

IBM在周二的公告中说,已经开发出了能够将这些任务分配到64台服务器的软件,这些服务器总共有256个处理器,可在速度方面取得巨大飞跃。凡是拥有IBM Power系统服务器的用户,以及其他想要测试的技术人员,均可获得这项技术。

IBM使用了64个自主开发的Power 8服务器,每一个都将通用的英特尔微处理器和英伟达图形处理器连接起来,并使用快速的NVLink连接,以促进两种芯片之间的数据流传输。

在此之上,IBM采用了技术人员所说的集群技术来管理所有这些移动部件。集群技术可在给定服务器的多个处理器和其他63个服务器中的处理器之间充当通信警察。

如果流量管理不正确,一些处理器就会闲置,处于“吃不饱”的状态。每个处理器都有自己的数据集,同时还需要来自其他处理器的数据,以获得更大的图像。亨特解释说,如果处理器不同步,它们就学不到任何东西。

亨特告诉《财富》杂志:“我们的想法是改变你训练深度学习模式的速度,并真正提高你的工作效率。”

亨特说,将深度学习从一个带有8个处理器的服务器扩展到64个服务器,每个服务器有8个处理器,可以将性能提高50-60倍。

Pund-IT公司创始人查尔斯·金(Charles King)对IBM的项目印象深刻,他说后者已经找到了一种“扩大”系统的方法,额外增加的处理器能提高性能。

例如,在理论上,将处理器扩容100%应该获得100%的性能提升。但实际上,由于复杂的管理和连接问题,这种效益永远不会发生。

但IBM称,其系统通过由加州大学伯克利分校创建的“咖啡因”深度学习框架,在256个处理器之间实现了95%的扩展效率。之前的记录是由Facebook人工智能研究公司创造的,扩展效率达到了89%。

“IBM最新95%的扩展效率似乎太好了,不可能是真的,”帕特里克·莫海德(Patrick Moorhead)说,他是德克萨斯州奥斯丁市一家研究公司的总裁和创始人。

IBM表示,在图像识别方面,IBM系统再次使用了“咖啡因”框架,在7个小时内识别了750万张图片,准确率达到了33.8%。微软之前的记录是29.8%,而达到这一准确率花了10天时间。

用外行人的话来说,IBM声称已经开发出了比现有深度学习技术更快、更精确的技术。当然,它还需要使用IBM的Power系统硬件和集群软件。
除了“咖啡因”框架,IBM还表示,流行的谷歌TensorFlow框架同样可以在这种新技术上运行。莫海德说,值得注意的是,IBM在运用自己在高性能计算方面的专业知识,同时,也采纳诸如Tensorflow和“咖啡因”之类的外部资源,这种做法有助于该项技术更广泛地适用于一系列深度学习应用。

用户喜欢...

使用随时可用的硬件和软件开始机器学习

对于开发人员来说,机器学习(ML)硬件和软件的进步有望将这些复杂的方法带入物联网(IoT)边缘设备。然而,随着这一研究领域的发展,开发人员可以轻松地发现自己沉浸在这些技术背后的...


使用FPGA通过机器学习构建高性能嵌入式视觉应用

本文将介绍ML处理的要求以及FPGA解决许多性能问题的原因。然后,它将介绍一个合适的基于FPGA的ML平台以及如何使用它。...


使用 FPGA 构建具有机器学习能力的高性能嵌入式视觉应用

随着摄像头和其他设备产生的数据在快速增长,促使人们运用机器学习从汽车、安防和其他应用产生的影像中提取更多有用的信息。专用器件有望在嵌入式视觉应用中实现高性能机器学习 (ML...


在机器学习的应用上,软件工程师和FPGA真的有着难以逾越的鸿沟吗?

人工智能和机器学习正在渗透所有的行业。随着人工智能算法的成熟,支持这些算法的硬件平台也日趋成熟。目前,这些硬件平台包括 ASIC,CPU,GPU以及 FPGA 。在 Plunify,尽管我们的强项是F...


成为一名机器学习算法工程师,需要具备哪些技能?

成为一名合格的开发工程师不是一件简单的事情,需要掌握从开发到调试到优化等一系列能力,这些能力中的每一项掌握起来都需要足够的努力和经验。而要成为一名合格的机器学习算法工程...


Zynq学习笔记——HLS FAST corner导出keypoints(二)

PC平台:WINDOWS 10 64位 Xilinx设计开发套件:Xilinx_vivado_sdk_2015.4 开发板:ZedBoard 摄像头:OV5640 上一步导出HLS IP后,修改原来的硬件工程,其实升级一下hls_fast_corner IP就可以了,我这次用的不是...


STM32之TFT-LCD液晶学习

TFT-LCD即薄膜晶体管液晶显示器。其英文全称为:Thin Film Transistor-Liquid Crystal Display。TFT-LCD与无源TN-LCD、STN-LCD的简单矩阵不同,它在液晶显示屏的每一个象素上都设置有一个薄膜晶体管(TFT)...


Zynq学习笔记——HLS FAST corner导出keypoints(一)

PC平台:WINDOWS 10 64位 Xilinx设计开发套件:Xilinx_vivado_sdk_2015.4 开发板:ZedBoard 之前参照XAPP1167文档,使用HLS Video函数库里的FASTX跑了一下例子,当时的例子是直接把keypoint以mask方式画在了原始视...


Zynq学习笔记——一个简单的HDMI显示例子

本文介绍一个简单的HDMI显示例子: 硬件工程 效果 源码链接: 密码:kljs...


Xilinx Zynq ZC702学习总结

Xilinx zynq zc702开发: 一、zynq开发整个生态系统搭建: 1.基础资料获取: https://github.com/Xilinx/ (包括:交叉编译工具,linux kernel源码,u-boot源码, device-tree源码, qemu, gdb等等) (提供 了几乎所...


Vivado 学习笔记 (五)编写IP核并通过AXI协议与ARM通信

参考资料:xilinx大学计划 实验平台:PYNQ开发板 最近发现了一块好玩的板子,PYNQ 这块板子最大的特点就是可以将所写的IP核封装成Python库的形式,然后通过在板载的xlinux系统下用户可以选择...


Zynq学习笔记——EMIO方式模拟I2C时序对ADV7511进行读写

创建硬件工程,很简单,PS接出两个EMIO和一个74.25M时钟 管脚约束 # ADV7511 I2C_SCL set_property PACKAGE_PIN AA18 [get_ports {gpio_0_tri_io[0]}] set_property IOSTANDARD LVCMOS33 [get_ports {gpio_0_tri_io[0]}] # ADV7511 I2C_SDA s...


深度解读关于单片机的车用数字仪表系统技术

在汽车的仪表板上安装有各种仪表、指示灯及报警灯,用于帮助驾驶人观察和掌握汽车及各系统的工作情况,提示异常现象和故障,以便及时消除安全隐患。 汽车仪表是用以监测汽车各系统...


FPGA深度学习应用再加速,深鉴科技发布基于Xilinx 的多场景人工智能服务方案

2017年10月24日,中国AI创业公司深鉴科技在北京举行盛大的2017新品发布会,面向如火如荼的AI应用集中推出五款基于赛灵思全可编程技术的自主研发的智能产品与深鉴深度学习开发软件DNNDK,强...


Vivado HLS学习笔记(四)利用FPGA进行简单的图像处理

参考资料:xilinx大学计划 实验平台:ZYBO开发板 本次实验要做的是一个基于FPGA的简单图像处理程序, 共实现两个功能: 1.输出一个灰度图像的直方图。 2.将一个曝光不足的图像进行处理,使...


Zynq学习笔记——EMIO方式模拟SCCB时序进行读写操作

一、SCCB介绍 SCCB是OmniVision Serial Camera Control Bus的简称,即OV公司的串行摄像机控制总线。OV公司定义的SCCB是一个3线结构,但是,为了缩减Sensor的pin封装,SCCB大多采用2线方式。 开始传输数据...