单目摄像头和FPGA的ADAS产品原型系统

1月5日-8日拉斯维加斯消费电子展(CES)上,地平线机器人(以下简称“地平线”)将与英特尔联合展示一款基于单目摄像头和FPGA的ADAS产品原型系统。

VBRN@8$9B_GUA4X4{$F[M22.png

车辆检测结果

该原型由英特尔和地平线联合开发完成,基于地平线最新设计的一款低功耗深度神经网络处理器架构IP。分工上,英特尔提供了FPGA硬件平台,地平线提供了实现在FPGA上的深度神经处理器架构,深度神经网络算法,以及整套嵌入式人工智能解决方案。该系统可实现高速公路和市区道路场景下的ADAS功能,可对车辆、车道线,行人,以及可行驶区域等同时实时检测和识别。

G2CVW%AF{J~MXOEPPM`(L$7.png

现场展示会尽量还原行车中视觉部分实时计算的过程。使用一个和硬件平台连接的单目摄像头拍摄路况,并在硬件平台中对交通环境进行处理,模拟行车时基于计算机视觉的驾驶辅助功能。受限于室内展示无法提供真实道路环境,摄像头会拍摄显示器播放的行车路况视频,来模拟真实情况中摄像头从前挡玻璃处观察前方路况。实时运算处理的结果会由另一个显示器输出,观众可在画面中看到目标检测识别后的结果,来演示算法的识别率和硬件性能。

众所周知,在基于视觉的ADAS功能实现中,图像相关算法性能与计算资源高度相关。其中基于深度学习的图像处理算法,对硬件的计算性能、功耗、以及成本把控都会提出更高要求。为了减轻对硬件压力,算法本身的优化将成为重中之重。本次产品原型的展示,不仅能佐证英特尔的硬件平台性能,而且对地平线算法优化的功力亦能有所体现。据披露,这是业界首次在Intel的FPGA平台上展现深度学习计算性能,也是地平线首次向外界展示其处理器架构研发的最新成果。

地平线成立于2015年7月,设有北京总部和深圳、南京分公司,汽车业务主要针对自动驾驶提供基于深度神经网络和深度学习的嵌入式人工智能解决方案,主要产品是核心处理器架构,软件算法和全套技术解决方案,是一家面向前装的二级零部件供应商。

目前地平线在软件算法上提供了基于深度学习的整体方案,具有高性能、低运算量的特点。在今年智车优行“奇点汽车”发布会上,地平线首次向外界展示了真车环境下,利用单目摄像头同时实现行人/车辆/车道线检测的ADAS产品原型系统。在今年3月份时,地平线已独立开发推出了专门根据自身深度学习算法设计的软硬件解决方案——Hugo1.0平台。

英特尔近期重申了进入汽车领域的决心,期待用汽车业务续写PC时代的辉煌。公司近两年通过一系列收购来为进军汽车领域积蓄力量,陆续完成了对可编程逻辑器件厂商Altera、意大利半导体制造商Yogitech和计算机视觉公司Itseez Inc的收购。近期又宣布成立专门致力于提供自动驾驶技术解决方案的事业部——自动驾驶事业部(简称ADG)。

在汽车领域,英特尔的合作业务已陆续展开。目前这家公司已在联合宝马、Mobileye共同开发无人驾驶汽车技术,让宝马自动驾驶汽车在2021年上路。此次与地平线的合作,将为英特尔在汽车领域的研发探索提供一则全新案例。

用户喜欢...

Arduino 环境中的 FPGA:使用 Alorium 的 Snō 模块支持预配置和定制 IP

当固件在微控制器或微处理器上的运行速度过慢时,现场可编程门阵列 (FPGA) 可解决实时嵌入式设计的硬件问题。同时,FPGA 还具有外设灵活性。然而,要使用 FPGA,设计工程师就需要学习全新的...


通过 Arduino MKR Vidor 4000 快速轻松地应用 FPGA

许多设计人员迟早都会发现,微控制器或微处理器上运行的固件可能会变得太慢。现场可编程门阵列 (FPGA) 为此提供了一种可编程方法,以硬件速度来解决高速、实时、嵌入式设计问题。然而,...


使用Arduino MKR Vidor 4000快速轻松地应用FPGA

正如许多设计人员迟早会发现的那样,在微控制器或微处理器上运行的固件可能会变得太慢。这就是现场可编程门阵列(FPGA)提供可编程方式,以硬件速度解决高速,实时,嵌入式设计问题。...


使用FPGA通过机器学习构建高性能嵌入式视觉应用

本文将介绍ML处理的要求以及FPGA解决许多性能问题的原因。然后,它将介绍一个合适的基于FPGA的ML平台以及如何使用它。...


FPGA配置采用高速NOR闪存

NOR闪存被广泛部署为FPGA的配置器件。工业,通信和汽车ADAS应用中的FPGA使用取决于NOR Flash的低延迟和高数据吞吐量特性。快速启动时间要求的一个很好的例子是汽车环境中的摄像机系统。点火后...


为物联网设计添加高性能语音关键字检测:第 1 部分 - 使用 FPGA

随着Alexa、Hey Siri或Hi Google等多个产品成功响应关键词,关键字检测 (KWS) 已成为越来越多嵌入式应用的一项重要要求。虽然典型的先进 KWS 解决方案依赖于复杂的卷积神经网络 (CNN) 和其他深度神...


使用 FPGA 构建具有机器学习能力的高性能嵌入式视觉应用

随着摄像头和其他设备产生的数据在快速增长,促使人们运用机器学习从汽车、安防和其他应用产生的影像中提取更多有用的信息。专用器件有望在嵌入式视觉应用中实现高性能机器学习 (ML...


QDR SRAM接口FPGA 详细Verilog代码

QDR SRAM介绍 QDR 具有独立的读、写数据通路,均使用DDR,在每个时钟周期内会传输四个总线宽度的数据 (两个读和两个写),这就是QDR四倍数据速率的由来。 这里用到的是典型2字突发的QDR,...


Aldec的边缘计算示例: Zynq SoC 的 FPGA架构将嵌入式视觉/ ADAS性能提升了10倍

Aldec的一个应用工程师 Farhad Fallah 在 New Electronics 网站上发表的一篇题​​为生活在边缘的文章最近引起了我的注意,因为它简洁地描述了为什么 FPGA 对于许多高性能的边缘计算应用如此有用...


恒扬数据携手OpenPOWER多家成员共同推进基于CAPI SNAP框架的FPGA加速应用开发

日前,以“智慧链接新智能 创新加速助中国” 为主题2017年OpenPOWER 中国高峰论坛在京隆重召开,包括IBM、赛灵思、英伟达、浪潮、中太服务器、恒扬数据等在内的联盟成员出席了此次盛会并...


LVDS高速ADC接口, Xilinx FPGA实现

LVDS 即Low-Voltage Differential Signaling。FPGA的selecteIO非常强大,支持各种IO接口标准,电压电流都可以配置。其接口速率可以达到几百M甚至上千M。使用lvds来接收高速ADC产生的数据会很方便。像IS...


在机器学习的应用上,软件工程师和FPGA真的有着难以逾越的鸿沟吗?

人工智能和机器学习正在渗透所有的行业。随着人工智能算法的成熟,支持这些算法的硬件平台也日趋成熟。目前,这些硬件平台包括 ASIC,CPU,GPU以及 FPGA 。在 Plunify,尽管我们的强项是F...


FPGA竟然使Apple II个人电脑做回了自己!

背景: 微处理器软核代码开放,那么将源代码用工具例化到FPGA里面是不是就能实现其逻辑功能,当年流行的微处理器成就的一些产品是不是可以再拿出来回味回味呢?答案是肯定的, Micro...


Atlas助力华为云FPGA加速云服务器首秀北美市场

近日,华为技术有限公司(Huawei Technologies Co., Ltd.)与All Programmable技术和器件的全球领先企业赛灵思公司(Xilinx, Inc.,(NASDAQ:XLNX))在美国科罗拉多丹佛举行的2017 年超级计算大会上联合宣布,基...


Xilinx FPGA在基因组测序中大显身手!

作者:sleibso ,编译:蒙面侠客 引言: PrecisionFDA平台是基因组信息学社区和共享数据平台,这是一个为研究人员准备的开源、基于云的工具,它将为下一代测序诊断提供依据,并且为所有开...


Xilinx FPGA复位浅析

1. 普通逻辑的复位 对于xilinx 7系列的FPGA而言,flip-flop支持高有效的异步复/置位和同步复位/置位。对普通逻辑设计,同步复位和异步复位没有区别,当然由于器件内部信号均为高有效,因此推...