close
当前位置: 物联网在线 > 技术文库 >

使用全可编程SoC简化您的增强现实系统

研究表明,我们人类与世界的视觉互动,因为我们处理视觉图像比以其他形式呈现的信息快许多倍,例如书面文本。增强现实(AR)与其虚拟现实(VR)表亲一样,使我们能够体验对周围环境的增强感知。主要区别在于,AR通过虚拟对象(如文本或其他视觉效果)增加或增强了自然世界,使我们能够在自然环境中安全且更高效地进行交互,而VR将我们置身于一个综合创建的环境中。

AR和VR的组合通常被描述为向我们呈现混合现实(MR)(图1)我们中的许多人可能已经在我们的日常生活中使用AR,而不必知道,例如当我们使用我们的移动设备进行街道级导航或玩像PokémonGo这样的AR游戏时。

1.增强现实与虚拟现实的结合创造了混合现实。

平视显示器(HUD)是AR及其应用最好的例子之一。在较简单的增强现实应用中,HUD用于航空和汽车应用,以便在不对仪表组进行观察的情况下提供相关的车辆信息。根据Tractica预测,到2020年,具有更高级功能的AR应用(包括可穿戴技术(通常称为智能AR))预计价值23亿美元。

增强现实增强我们的生活 

AR正在工业,军事,制造业,医疗和商业领域发现许多应用程序和用例,以增强我们的生活。在社交商业领域中,AR用于社交媒体应用程序中添加传记信息,甚至识别每个人。

许多AR应用基于使用操作员佩戴的智能眼镜。这些智能眼镜通过替换手册或说明如何组装零件(图2),有助于提高制造环境的效率在医疗领域,智能眼镜有可能共享医疗记录以及伤口和伤口的详细信息,从而为现场应急服务提供信息,这些信息以后可以提供给ER。

这是一个工业环境中使用的智能眼镜的例子。

一家大型包裹递送公司目前在智能眼镜中使用AR来阅读运输标签上的条形码。扫描完条码后,眼镜可以使用Wi-Fi基础设施与公司的服务器进行通信,以确定包裹的最终目的地。在知道目的地的情况下,眼镜可以指示包裹应该堆放在哪里以便继续运送。

除了考虑最终应用之外,增强现实解决方案还涉及许多需求,包括性能,安全性,功耗和面向未来的需求。其中一些可能会相互竞争,因此设计人员必须考虑所有这些要求才能达到最佳AR系统解决方案。 

增强AR系统的成功

复杂的AR系统需要能够连接并处理来自理解周围环境的多个相机传感器的数据。这些传感器也可以在电磁(EM)频谱的不同元件上操作,例如红外或近红外。此外,传感器可以提供来自EM频谱之外的信息,如同MEMS加速度计和陀螺仪一样提供用于检测运动和旋转的输入,以及由全球导航卫星系统(GNSS)分配的位置数据(图3)嵌入式视觉系统通过不同类型的传感器进行传感器融合,通常称为异构传感器融合系统。

AR系统还需要高帧速率以及逐帧执行实时分析以提取和处理每帧中包含的信息的能力。装备系统具有处理能力以实现这些要求成为组件选择中的驱动决定因素。

3.观察增强现实系统的解剖结构,使用多个传感器,例如MEMS加速计和陀螺仪。

Xilinx All Programmable Zynq-7000 SoC或Zynq UltraScale + MPSoC 是一款能够处理AR系统内核的单芯片示例  这些SoC本身就是将ARM处理器与高性能可编程逻辑相结合的异构处理系统。Zynq UltraScale + MPSoC是下一代Zynq-7000 SoC,它还集成了ARM Mali-400 GPU。另外,某些家庭成员包含支持H.265和高效视频编码(HEVC)标准的强化视频编码器。

这些复杂的器件使设计人员能够使用处理器分割其系统架构,以实现实时分析,并将传统处理器任务转移到生态系统。设计人员可以利用可编程逻辑实现传感器接口和处理功能。这带来的好处如下:

  • 按照应用程序的要求并行执行N个图像处理管道。
  • 任意连接 - 定义任何传感器,通信协议或显示标准并与之连接的功能 - 可实现灵活性和未来升级路径。

支持嵌入式视觉和机器学习

为了实现图像处理流水线和传感器融合算法,开发人员可以利用支持嵌入式视觉和机器学习应用的reVISION加速堆栈。reVISION主要在软件定义的SoC或SDSoC工具集环境中开发,允许设计人员使用标准框架(如OpenVX)进行视觉处理的跨平台加速,OpenCV计算机视觉库和Caffe Flow,以处理器系统和可编程逻辑为目标。reVISION堆栈可以将大量的OpenCV功能(包括核心OpenVX功能)加速到可编程逻辑中。

此外,reVISION支持在Caffe原型文件中直接在可编程逻辑中实现机器学习推理引擎。使用行业标准框架的能力缩短了开发时间:由于处理系统和可编程功能,它可以最大限度地降低高级系统模型和设计完成之间的差距,同时产生更灵敏,更省电(像素每瓦)和灵活的解决方案逻辑组合(图4)

4.使用行业标准框架可缩短开发时间。

设计师还必须考虑AR系统的独特之处。他们不仅需要与观察周围环境的摄像机和传感器进行交互,还需要根据应用和用例的需要执行算法,但它们还必须能够跟踪用户的眼睛,确定他们的视线,并因此确定他们的位置正在看。

这通常通过使用观察用户脸部并实现眼睛跟踪算法的附加相机来实现,该算法允许AR系统跟随用户的注视并确定要递送到AR显示器的内容。这有助于有效使用带宽和处理要求。执行此类检测和跟踪可能是一项计算密集型任务,但可以使用reVISION加速它。

便携式设备的优先次序

大多数AR系统也是便携式,不受限制的,并且在许多情况下是可穿戴的,就像智能​​眼镜一样。这就造成了在功率受限的环境中实施所需处理的独特挑战。据赛灵思称,在这种情况下,Zynq-7000 SoC和Zynq UltraScale + MPSoC系列在性能功耗比方面排名最高。他们可以通过执行不同的选项来进一步降低功耗,包括将处理器置于待机模式,以便通过多种来源之一唤醒,从而关断半导体器件的可编程逻辑。通过检测这些情况下不再使用它们,AR系统可延长电池寿命。

在AR系统的操作期间,当前未被使用的处理器的元件可以被时钟门控以降低功耗。设计人员可以通过遵循简单的设计规则,例如高效使用硬宏,精心规划控制信号,并考虑当前不需要的器件区域的智能时钟门控,来实现可编程逻辑元件内的高效电源解决方案。与基于CPU或GPU的方法相比,这提供了更高效且响应更快的单芯片解决方案。

使用reVISION加速机器学习和图像处理元件的单芯片Zynq-7000 SoC或Zynq UltraScale + MPSoC解决方案可实现6倍(机器学习)和42倍(图像处理)每秒每瓦更多帧数,延迟时间为五分之一与其他基于GPU的解决方案相比。

满足敏感的安全需求

诸如共享患者医疗记录和制造数据等AR应用需要在信息保证(IA)和威胁保护(TP)领域实现高度安全性,特别是由于AR系统具有高度移动性并且可能放错位置。IA要求我们可以信任存储在系统中的信息以及系统收到和传输的信息。

对于一个全面的IA域,设计人员可以利用Zynq设备的安全引导功能来启用加密。他们还需要使用高级加密标准(AES),密钥哈希消息认证码(HMAC)和RSA公钥密码算法进行验证。一旦设备正确配置并运行,开发人员就可以使用ARM TrustZone和虚拟机管理程序来实现一个正交的世界,其中一个是安全的,另一个是无法访问的。

当涉及威胁防护时,设计人员可以使用系统内置的Xilinx ADC(XADC)宏来监控电源电压,电流和温度,并检测任何篡改AR系统的企图。如果发生威胁事件,Zynq设备具有保护选项,从登录尝试到清除安全数据以及防止AR系统再次连接到支持基础设施。


(责任编辑:ioter)

用户喜欢...

虚拟现实从SoC开始

William Wong | 2018年4月5日 高通公司的 新虚拟现实(VR)参考设计 (图1) 以及配套的VR开发套件与SDK利用其Snapdragon 845片上系统(SoC)。 Snapdragon 845是许多最新智能手机的基础,包括 三星的 新款...


在Arty Z7上入门Xilinx SDSoC开发工具

作者:阿Q 来源:开源硬件创客坊微信公众号 细心的小伙伴们可能早已留意到,在Digilent今年全新出品的Zynq评估板中,无论是第二代经典入门级的Zynq™ Board - ZYBO Z7,还是创客最爱的ARTY Z7,都...


开始使用Xilinx Zynq 一款可全编程系统芯片 (SoC)

什么是FPGA Xilinx以制造可编程门阵列(FPGA)而闻名,它是基于一个通过可编程接点连接的可配置逻辑块(CLBs)矩阵。根据Control Engineering Europe中的 FPGA的优点(Advantages of FPGA)这篇文章,多种控制回...


集成RF采样数据转换器的RFSoC为5G新无线电提供支持

作者:Anthony Collins、Harpinder Matharu和Ehab Mohsen,赛灵思公司,美国加利福尼亚州圣何塞 第五代无线接入网络预计能够满足2020年及以后新用例和新应用的系统与服务要求。5G新无线电(5G NR)预计提...


使用SDSoC的仿真工具,在基于Zynq的嵌入式系统设计中查找并修复PS / PL性能加速问题

得益于赛灵思的SDSoC开发环境,将您的软件算法部分卸载到Zynq SoC或Zynq UltraScale + MPSoC的PL(可编程逻辑)以满足系统性能要求是非常简单的。一旦您熟悉了SDSoC的数据传输选项,可以在PS和PL之...


FPGA方案:SoC数字显示系统

系统级芯片(SoC)解决方案被誉为半导体业最重要的发展之一,目前,从数字手机和数字电视等消费类电子产品到高端通信LAN/WAN设备中,这一器件随处可见。过去,为了创建此类嵌入式系统,设...


使用BFM 测试和调试 Zynq SoC 设计

作者: Martin Hofherr Missing Link Electronics 公司设计工程师 Martin.hofherr@missinglinkelectronics.com Endric Schubert Missing Link Electronics 公司联合创始人 Endric.schubert@missinglinkelectronics.com AXI 总线功能建模可简化...


如何配置您的Zynq SoC裸机解决方案

编者注:这是Adam Taylor规划的Zynq-7000 All Programmable SoC实际操作教程系列的第二部分。Adam经常为Xcell杂志撰稿,他撰写了第82期介绍Zynq SoC设计的封面报道,以及本期中介绍XPE和XPA的文章(见第...


使用Zynq-7000 All Programmable SoC 实现图像传感器色彩校正

作者:Gabor Szedo,赛灵思公司高级视频设计工程师 Gabor.szedo@xilinx.com Steve Elzinga,赛灵思公司视频IP 设计工程师 Steve.elzinga@xilinx.com Greg Jewett, 赛灵思公司视频市场营销经理 Greg.jewett@xilinx.com 赛...


用OpenCV和Vivado HLS加速基于Zynq SoC的嵌入式视觉应用开发

赛灵思公司HLS设计方法工程师 Vallina@xilinx.com José Roberto Alvarez 赛灵思公司视频技术工程设计总监 jalvarez@xilinx.com 将Vivado HLS与OpenCV库配合使用,既能实现快速原型设计,又能加快基于Zynq All P...