close
当前位置: 物联网在线 > 技术文库 >

使用全可编程SoC简化您的增强现实系统

研究表明,我们人类与世界的视觉互动,因为我们处理视觉图像比以其他形式呈现的信息快许多倍,例如书面文本。增强现实(AR)与其虚拟现实(VR)表亲一样,使我们能够体验对周围环境的增强感知。主要区别在于,AR通过虚拟对象(如文本或其他视觉效果)增加或增强了自然世界,使我们能够在自然环境中安全且更高效地进行交互,而VR将我们置身于一个综合创建的环境中。

AR和VR的组合通常被描述为向我们呈现混合现实(MR)(图1)我们中的许多人可能已经在我们的日常生活中使用AR,而不必知道,例如当我们使用我们的移动设备进行街道级导航或玩像PokémonGo这样的AR游戏时。

1.增强现实与虚拟现实的结合创造了混合现实。

平视显示器(HUD)是AR及其应用最好的例子之一。在较简单的增强现实应用中,HUD用于航空和汽车应用,以便在不对仪表组进行观察的情况下提供相关的车辆信息。根据Tractica预测,到2020年,具有更高级功能的AR应用(包括可穿戴技术(通常称为智能AR))预计价值23亿美元。

增强现实增强我们的生活 

AR正在工业,军事,制造业,医疗和商业领域发现许多应用程序和用例,以增强我们的生活。在社交商业领域中,AR用于社交媒体应用程序中添加传记信息,甚至识别每个人。

许多AR应用基于使用操作员佩戴的智能眼镜。这些智能眼镜通过替换手册或说明如何组装零件(图2),有助于提高制造环境的效率在医疗领域,智能眼镜有可能共享医疗记录以及伤口和伤口的详细信息,从而为现场应急服务提供信息,这些信息以后可以提供给ER。

这是一个工业环境中使用的智能眼镜的例子。

一家大型包裹递送公司目前在智能眼镜中使用AR来阅读运输标签上的条形码。扫描完条码后,眼镜可以使用Wi-Fi基础设施与公司的服务器进行通信,以确定包裹的最终目的地。在知道目的地的情况下,眼镜可以指示包裹应该堆放在哪里以便继续运送。

除了考虑最终应用之外,增强现实解决方案还涉及许多需求,包括性能,安全性,功耗和面向未来的需求。其中一些可能会相互竞争,因此设计人员必须考虑所有这些要求才能达到最佳AR系统解决方案。 

增强AR系统的成功

复杂的AR系统需要能够连接并处理来自理解周围环境的多个相机传感器的数据。这些传感器也可以在电磁(EM)频谱的不同元件上操作,例如红外或近红外。此外,传感器可以提供来自EM频谱之外的信息,如同MEMS加速度计和陀螺仪一样提供用于检测运动和旋转的输入,以及由全球导航卫星系统(GNSS)分配的位置数据(图3)嵌入式视觉系统通过不同类型的传感器进行传感器融合,通常称为异构传感器融合系统。

AR系统还需要高帧速率以及逐帧执行实时分析以提取和处理每帧中包含的信息的能力。装备系统具有处理能力以实现这些要求成为组件选择中的驱动决定因素。

3.观察增强现实系统的解剖结构,使用多个传感器,例如MEMS加速计和陀螺仪。

Xilinx All Programmable Zynq-7000 SoC或Zynq UltraScale + MPSoC 是一款能够处理AR系统内核的单芯片示例  这些SoC本身就是将ARM处理器与高性能可编程逻辑相结合的异构处理系统。Zynq UltraScale + MPSoC是下一代Zynq-7000 SoC,它还集成了ARM Mali-400 GPU。另外,某些家庭成员包含支持H.265和高效视频编码(HEVC)标准的强化视频编码器。

这些复杂的器件使设计人员能够使用处理器分割其系统架构,以实现实时分析,并将传统处理器任务转移到生态系统。设计人员可以利用可编程逻辑实现传感器接口和处理功能。这带来的好处如下:

  • 按照应用程序的要求并行执行N个图像处理管道。
  • 任意连接 - 定义任何传感器,通信协议或显示标准并与之连接的功能 - 可实现灵活性和未来升级路径。

支持嵌入式视觉和机器学习

为了实现图像处理流水线和传感器融合算法,开发人员可以利用支持嵌入式视觉和机器学习应用的reVISION加速堆栈。reVISION主要在软件定义的SoC或SDSoC工具集环境中开发,允许设计人员使用标准框架(如OpenVX)进行视觉处理的跨平台加速,OpenCV计算机视觉库和Caffe Flow,以处理器系统和可编程逻辑为目标。reVISION堆栈可以将大量的OpenCV功能(包括核心OpenVX功能)加速到可编程逻辑中。

此外,reVISION支持在Caffe原型文件中直接在可编程逻辑中实现机器学习推理引擎。使用行业标准框架的能力缩短了开发时间:由于处理系统和可编程功能,它可以最大限度地降低高级系统模型和设计完成之间的差距,同时产生更灵敏,更省电(像素每瓦)和灵活的解决方案逻辑组合(图4)

4.使用行业标准框架可缩短开发时间。

设计师还必须考虑AR系统的独特之处。他们不仅需要与观察周围环境的摄像机和传感器进行交互,还需要根据应用和用例的需要执行算法,但它们还必须能够跟踪用户的眼睛,确定他们的视线,并因此确定他们的位置正在看。

这通常通过使用观察用户脸部并实现眼睛跟踪算法的附加相机来实现,该算法允许AR系统跟随用户的注视并确定要递送到AR显示器的内容。这有助于有效使用带宽和处理要求。执行此类检测和跟踪可能是一项计算密集型任务,但可以使用reVISION加速它。

便携式设备的优先次序

大多数AR系统也是便携式,不受限制的,并且在许多情况下是可穿戴的,就像智能​​眼镜一样。这就造成了在功率受限的环境中实施所需处理的独特挑战。赛灵思称,在这种情况下,Zynq-7000 SoC和Zynq UltraScale + MPSoC系列在性能功耗比方面排名最高。他们可以通过执行不同的选项来进一步降低功耗,包括将处理器置于待机模式,以便通过多种来源之一唤醒,从而关断半导体器件的可编程逻辑。通过检测这些情况下不再使用它们,AR系统可延长电池寿命。

在AR系统的操作期间,当前未被使用的处理器的元件可以被时钟门控以降低功耗。设计人员可以通过遵循简单的设计规则,例如高效使用硬宏,精心规划控制信号,并考虑当前不需要的器件区域的智能时钟门控,来实现可编程逻辑元件内的高效电源解决方案。与基于CPU或GPU的方法相比,这提供了更高效且响应更快的单芯片解决方案。

使用reVISION加速机器学习和图像处理元件的单芯片Zynq-7000 SoC或Zynq UltraScale + MPSoC解决方案可实现6倍(机器学习)和42倍(图像处理)每秒每瓦更多帧数,延迟时间为五分之一与其他基于GPU的解决方案相比。

满足敏感的安全需求

诸如共享患者医疗记录和制造数据等AR应用需要在信息保证(IA)和威胁保护(TP)领域实现高度安全性,特别是由于AR系统具有高度移动性并且可能放错位置。IA要求我们可以信任存储在系统中的信息以及系统收到和传输的信息。

对于一个全面的IA域,设计人员可以利用Zynq设备的安全引导功能来启用加密。他们还需要使用高级加密标准(AES),密钥哈希消息认证码(HMAC)和RSA公钥密码算法进行验证。一旦设备正确配置并运行,开发人员就可以使用ARM TrustZone和虚拟机管理程序来实现一个正交的世界,其中一个是安全的,另一个是无法访问的。

当涉及威胁防护时,设计人员可以使用系统内置的Xilinx ADC(XADC)宏来监控电源电压,电流和温度,并检测任何篡改AR系统的企图。如果发生威胁事件,Zynq设备具有保护选项,从登录尝试到清除安全数据以及防止AR系统再次连接到支持基础设施。


(责任编辑:ioter)

用户喜欢...

虚拟现实从SoC开始

William Wong | 2018年4月5日 高通公司的 新虚拟现实(VR)参考设计 (图1) 以及配套的VR开发套件与SDK利用其Snapdragon 845片上系统(SoC)。 Snapdragon 845是许多最新智能手机的基础,包括 三星的 新款...


以前的英特尔Exec能否成功采用旧的ARM SoC?

由英特尔总裁ReneJames领导的创业公司安培计算公司(Ampere Computing)推出了基于ARM的服务器SoC,承诺加速超大规模云计算创新。 蕾妮詹姆斯 詹姆斯的新公司将瞄准由英特尔主导的快速增长的数据...


[原创] On Semi RSL10多协议无线系统级芯片(SoC)开发方案

On Semi公司的RSL10是超低功耗的多协议无线系统级芯片(SoC),采用ARMR CortexRM3处理器(48MHz)和LPDSP32 DSP核(音频CODEC),支持蓝牙...


RohdeSchwarz便携式4.0GHz的频谱分析仪里面的Zynq AP SoC

背景: 无论是在实验室调试嵌入式设备,还是在外场解决复杂的问题,都需要一款便携式的频谱分析仪,在要求有高性能和较宽的测试范围的同时,我们还希望这个仪器有着较小的功耗,这...


Aldec的边缘计算示例: Zynq SoC 的 FPGA架构将嵌入式视觉/ ADAS性能提升了10倍

Aldec的一个应用工程师 Farhad Fallah 在 New Electronics 网站上发表的一篇题​​为生活在边缘的文章最近引起了我的注意,因为它简洁地描述了为什么 FPGA 对于许多高性能的边缘计算应用如此有用...


瑞萨电子携其展示车亮相2018 CES,助力加速ADAS、自动驾驶和驾驶舱开发的量产化进程

瑞萨电子株式会社今日宣布推出了新一代先进驾驶辅助系统(ADAS)、自动驾驶以及网联驾驶舱展示车。瑞萨电子三款...


Amazon Alexa和Google Home语言系统的前驱服务者:13个MEMS 麦克风+Zynq SoC

背景: 说到语音识别,吸引的大家关注的有两大主力:亚马逊的Alexa和Google伴的Home。首先说说Alexa,随着智能家居Echo受到热捧,亚马逊的语音私人助手Alexa持续受到消费者关注。Alexa能围绕着...


SDSoC 2017.2 版本已经全面开放下载了!

SDSoC 开发环境可为异构 Zynq AllProgrammable SoC 及 MPSoC 部署提供类似嵌入式 C/C++/OpenCL 应用的开发体验,如简单易用的 Eclipse IDE 和综合设计环境,全系统优化编译器可实现可编程逻辑中的自动软件...


小板子大智谋——Aldec公司的TySOM-3-ZUEV囊括了Zynq UltraScale+ MPSoC,DDR4 SoDIMM,WiFi,Bluetooth,HDMI,FMC等等单元于一身

背景: 你需要将大量的嵌入式资源放到一个很小的空间里面么?如果需要,那么你不妨看一下Aldec TySOM-3-ZU7EV这款嵌入式的业界新宠,它将Xilinx Zynq UltraScale+ ZU7EV MPSoC以及DDR4 SoDIMM,WiFi,蓝牙...


在Arty Z7上入门Xilinx SDSoC开发工具

作者:阿Q 来源:开源硬件创客坊微信公众号 细心的小伙伴们可能早已留意到,在Digilent今年全新出品的Zynq评估板中,无论是第二代经典入门级的Zynq™ Board - ZYBO Z7,还是创客最爱的ARTY Z7,都...