使用最新摄像头技术给车辆赋予强大的视觉功能

随着摄像头系统在车辆中的应用日趋普遍,对改型仪表板录像机(行车记录仪)、辅助驾驶、报警摄像头、倒车摄像头以及夜视系统的需求也与日俱增。 由于消费者对这些系统的功能需求日益增多,所以各种新型摄像头技术应运而生。它们既可以单独使用,也可以和复杂的传感器融合应用中的标准 CMOS 图像传感器一起使用。
同时,因为有众多参考设计和开发工具可供您快速上手,所以采用这些新技术来开发系统变得前所未有的简单。 下面是我们认为在这一富有挑战性的应用领域最具前景的部分精选技术和工具。
红外摄像头
红外摄像头的成像依据是波长超过可见光的红外线,也就是说,发热的物体看上去较亮,而较冷的区域将看上去较暗。 这对于机器视觉系统十分有用,因为它可以检测视场内的人或动物,可能包括在车辆周围公路上活动的行人、宠物或野生动物。 在增强可见光摄像头的噪声数据方面,红外技术尤为有效;但红外摄像头也可以作为夜视系统单独使用,帮助驾驶者在黑暗处行车或倒车进入昏暗车库时发现行人或动物。 在车内,红外摄像头可以检测有无宠物或孩童,以免他们被遗忘在高温车厢内,在基于摄像头的控制系统中也可用于手势识别。
多年来市场上出售的红外摄像头都采用检测长波红外线 (LWIR) 的 CMOS 图像传感器形式,但由于所检测波长较长,导致所能检测到的物理尺寸有限制,其外型也相对笨重,直到近期,情况才有所改善。 如今的处理技术和小型化技术已经能生产出微小型设备,且其价格是传统热成像摄像机的十分之一,因此得以广泛应用于消费类电子产品和车辆成像系统。
FLIR Lepton 小型红外摄像头图片
图 1:(a) FLIR Lepton 小型红外摄像头。 (b) Lepton 摄像头模块框图。
FLIR Systems 的 Lepton 红外摄像头就是顺应这一趋势的完美典范。 最前沿的制造技术能够作为成像器自身一部分在制造过程中从晶圆级构建出低成本的透镜,从而减少工艺步骤数。 晶圆级封装与单片集成控制电子元件(其中包括 DSP 和 SPI 接口)相结合,可使器件的封装降至最小——80 x 60 像素的摄像头,足以小到可以安装到如今很多手机摄像头所用的 32 针连接器中。 有三种型号的摄像头视场设置为 25° 或 50°,可查看范围更广的场景或用于更长距离成像。
Lepton 热成像相机分线板是 FLIR 针对此摄像头提供的评估板,可以极其快速地评估这些红外摄像头模块,并且它兼容各种基于 ARM 的开发系统,例如 BeagleBoard 和 Raspberry Pi。
3D 飞行时间摄像头
针对车载摄像头推出的另一项技术是飞行时间 (TOF) 3D 图像感应技术,这一技术的推出归功于集成度和小型化的发展。 这些复杂的设备可有效地映射 3D 表面,精度达到毫米级。 激光 LED 发出调制式红外光后,传感器检测到其反射光。 然后再测量照射光和反射光之间的相移,并据此计算视场内物体和传感器之间的距离。 此计算将按每个像素进行,结果将用于产生三维图像数据的点图。
与其它 3D 成像方法相比,如使用两个摄像头产生立体视觉或将结构化光图案投射到场景上并测量失真方式,TOF 技术在物理紧凑性、响应时间和简洁性方面更胜一筹。 相对而言,它也不受环境光条件变化影响。
很容易想象,如何在汽车装置中使用 TOF 3D 摄像头,为倒车摄像头系统提供更为精细的数据,以辨别倒车车辆和路上任何障碍物之间的距离。 TOF 3D 成像也可用于自动驾驶应用,以帮助汽车了解场景(因为它有助于分离背景和前景),或在汽车内部用于人脸识别或手势检测系统。
Texas Instruments 的摄像头开发工具图片
图 2:(a) TI 针对其 TOF 传感器的摄像头开发工具框图。 (b) 传感器板。
市面上供应的 Texas Instruments TOF 传感器:OPT8241。 此 QVGA 格式传感器(320 x 240 分辨率)最大帧率为 150 fps,支持高像素调制频率 (> 50 MHz) 且信噪比提高至 5 倍。 设计与此 IC 搭配使用的是 OPT9221 TOF 控制器,其中包括了可编程定时发生器,用于控制图像的光调制、读出和数字化序列。 由于定时发生器可编程,所以可以根据很多个变量进行优化,包括环境光消除和运动鲁棒性,并且它还可用兴趣区域来编程。
TI 针对 TOF 传感器的摄像头开发工具(图 2)具有 OPT8241 图像传感器,外加 OPT9221 TOF 控制器以及一个模拟前端 (VSP5324)。 采用此设置,帧率最高可达 60 fps,视场为 75°(水平)和 60°(垂直)。 它可映射最远 4 米外的物体,因此最适合提醒驾驶者即将碰到柱子。
人脸识别
最新的摄像头技术不但价格低廉而且处理器尺寸紧凑,因此已经有人开发出了人脸识别板,例如 Omron B5T HVC(人类视觉元件)。 使用复杂的专有算法,Omron 的识别板可以识别人的脸和手势,甚至会尝试猜测所检测脸部的表情。 识别人是车辆应用方面一项十分有用的功能,可用于检测驾驶者并将收音机调到他们最喜欢的频道,或预先加载导航系统,将其设为他们喜欢去的地方。 或在孩子们在车里时告诉娱乐系统并将节目限于适合全家共赏的内容。 此外,也可用于单纯计算乘客数量并相应调整空调系统。
Omron 人脸识别板图片
图 3:Omron 人脸识别板。
Omron 的算法还可实现像检测眼睛何时闭上甚至估计凝视方向之类功能,现已广泛用于数字摄像头来辨别对象何时看向摄像头。 这些功能可用于售后摄像头系统,检测驾驶者是否在看路或被车内其他事物分心,也可以在他们快要睡着时发出警报声叫醒他们。
Omron 的人脸识别板只有 60 x 40 mm 见方,并且耗电不足 0.25 A。该识别板很容易数字值来作为参数,用户 ID、每只眼睛的眨眼程度、水平和垂直凝视角度、估计年龄等,且可以选择使用获取的图像。 距摄像头 1.3 米之内效果最佳。
双仪表板摄像头
安装在仪表板和挡风玻璃上的摄像头可记录车外情况,在市场上很受欢迎,因为它们通常被用作“黑匣子”来确定事故中的过错方。 随着消费者对这些系统的接受度增加,他们将获得车道偏离或前方碰撞提醒功能,这都得益于图像处理技术。 因为这些系统越来越复杂,有些使用双摄像头实现 3D 立体视觉或物体检测,或只是单纯为了获得前端和后端视野(通过前后窗口)。
Lattice MachX02 双图像传感器接口板图片
图 4:(a) Lattice 双输入参考设计框图。 (b) 采用 MachX02 双图像传感器接口板结构的参考设计。
采用双摄像头输入系统的挑战在于保持图像质量的同时使成本降低。 虽然有些系统使用两个摄像头模块和两个图像处理器,或使用一个较为昂贵的可以处理两个输入的处理器,但实际上,大多数图像处理器可以支持来自两个图像处理器的数据,虽然它们一直被设计为只处理一个输入。Lattice已提出使用其 MachX02 可编程逻辑器件作为桥接器的适用于双摄像头系统的参考设计(图 4)。 此设计允许两个摄像头与一个图像处理器交互,从而降低零件数量和成本。 它可以同步、合并串联传感器接口并可将其转换为 CMOS 并行总线。
此参考设计可以使用 MachX02 双图像传感器接口板、9MT024 传感器 NanoVesta Headboard 和 HDR-60 开发工具进行构建。 Lattice 器件能够解串两个传感器接口,然后在 SDRAM 辅助下组合图像进行帧缓冲。 输出为组合图像的并行总线,因此图像信号处理器可以处理该数据流。
随着行业在面向自主驾驶车辆的智能摄像头系统领域不断取得进步,部分技术已应用于普通轿车。 新的摄像头技术以及复杂的图像处理解决方案应用越来越广,这些创新可用于改型摄像头系统,增加现有车辆的智能水平,提高舒适性、娱乐性和安全性。

用户喜欢...

基于DS90UB964如何在ADAS应用程序中使用MIPI CSI-2端口复制记录传感器数据方案

随着高级驾驶员辅助系统(ADAS)促成自动驾驶,对机器视觉、查看、并行处理和数据记录的聚合视频传感器数据多副本的需求越来越多。...


大联大世平集团联合驰晶科技推出基于众多国际大厂产品的Full-HD 3D 360°全景环视与ADAS系统解决方案

致力于亚太地区市场的领先半导体元器件分销商---大联大控股宣布,其旗下世平联合驰晶科技推出基于众多国际大厂...


针对ADAS应用优化编译程序

如果仔细了解,你就会对ADAS应用对编译程序和工具集提出的要求产生诸多疑问。传统的汽车应用和ADAS之间有所区别,为了更好地满足ADAS需求,需要对目前的编译程序进行一些升级改造… 汽...


ADAS越来越热,这家公司为何能俾睨群雄?

为减少人为原因造成的各类交通事故,ADAS已经成为汽车安全的重要保障,预计到2020年,一半的汽车将配备ADAS功能,在今年的国际消费性电子展(CES 2016)上,汽车ADAS功能成为新亮点,Nvidia、恩...


ADAS本土化攻坚战:也许比想象快

文 | 陈立新 张程航 高级辅助驾驶系统(ADAS)本土化速度可能高于预期。一方面相关政策已推出,C-NCAP将于2018年将自动紧急制动系统(AEB)纳入新车的五星评级系统;另一方面本土技术很快...


瑞萨电子ADAS 解决方案:全景可视系统

“创造更安全可靠的汽车和驾驶环境”―这就是瑞萨瑞萨电子想通过融合车载控制及IT(信息)技术来实现的汽车蓝图。本期介绍为了实现这个目标瑞萨电子切实推进的举措之一,即“ADAS(...


自驾车前景佳 ADAS解决方案大举出笼

为实现自动驾驶目标,ADAS应用如火如荼展开,各式智能汽车内建的微控制器、传感器芯片,以及绘图处理器需求日益攀升,进而带动半导体厂商推出符合车规,性能佳且具高整合度的产品。...


无人驾驶的前戏──ADAS

现在中国正在向汽车普及时代迈进,这意味拥有一辆自己的座驾将会是一件So Easy的事情,然而也意味着开着自己的座驾,遇到马路杀手也会是一件So Easy的事情。杜绝这些杀手们上路是不可能...


群雄逐鹿自动驾驶,ADAS产业大放异彩

关于自动驾驶,我们听得已经很多了,凡是打开和汽车技术相关的网页和新闻,总是免不了耳濡目染。但实际情况是,现在的技术还远远实现不了真正的自动驾驶、无人驾车。那么在如今的过...


影像侦测算法瓶颈突破 汽车ADAS效能再进化

蔡文凯/林立倬/陈泽民/李明华/吴文庆 近年来,世界各国的交通主管单位皆大力倡导「防御驾驶」,所谓防御驾驶是一种预测危机并协助远离危机的机制,意指除了驾驶本身遵守交通规则外,...


改搭可编程FPGA SoC ADAS系统性故障锐减

Frank Noha 任职于Altera工业和汽车业务部 基于雷达(RADAR)和摄影机设计的应用正大举进驻汽车驾驶安全领域。最初,自适应巡航控制和道路偏离警报等先进驾驶辅助系统(ADAS)只是一些非常便利的...


用于 ADAS 中摄像机系统的 MOST技术网络方案

借助 MOST 技术将摄像机系统无缝集成到 ADAS 中 Microchip Technology Inc. 资深业务拓展经理 Ing. Bernd Sostawa 本文介绍了如何将摄像机系统无缝集成到高级驾驶辅助系统(ADAS)中。MOST 技术 基于采用基...


结合高感度光学传感器 ADAS加速自动驾驶时代来临

在不久的将来,汽车电子行业注定要发生一些根本性的变革,汽车制造商将很快开始推出具有半自动(Semi-autonomous)控制功能的车型。各种外部传感器将可以采集所有相关潜在危险的准确资料,...


聊聊ADAS和无人驾驶知识库

本文转载自公众号汽车电子设计 作者:朱玉龙 这篇文章主要聊聊ADAS数据库的事情,聊一聊诗与远方。我觉得ADAS和无人驾驶是一个特别很难突破的地方: 1)上维度就是这个 2)正中间就是车...


面向ADAS、支持行人监测的高清环视系统解决方案

高级驾驶辅助系统(ADAS,即Advanced Driver Assistance Systems)是辅助驾驶者进行汽车驾驶的系统,可以大大提升车辆的安全性和道路的安全性,正在成为发展最快的汽车应用领域。目前车道偏离预...


视觉及ADAS图像传感器如何提升行车安全和驾乘体验?

近年来,汽车图像传感器领域呈爆发式增长,这主要由政府对汽车安全法令的贯彻和实施、消费者驾乘体验及自动驾驶的趋势所推动。 汽车图像传感器主要应用领域 汽车上可安装多个不同的...