从小白到自动驾驶系统工程师9——车载视觉传感器应用

从小白到自动驾驶系统工程师9——车载视觉传感器应用相对于其他传感器,摄像头的价格相对低廉,技术成熟,有着识别车道线、车辆、交通标志等物体的基础能力,在汽车高级辅助驾驶市场已被规模使用。

大家好,欢迎来到IT知识分享网。

车载视觉传感器概述

相对于其他传感器,摄像头的价格相对低廉,技术成熟,有着识别车道线、车辆、交通标志等物体的基础能力,在汽车高级辅助驾驶市场已被规模使用。

目前使用摄像头的ADAS功能有:自适应巡航ACC、车道偏离预警LDW、车道保持辅助LKA、前碰撞预警FCW、自动紧急制动AEBS、交通标志识别TSR、智能远光控制IHC、自动泊车AP、行人监测系统PDS、360环视系统、倒车影相系统、盲点探测BSD、驾驶员疲劳检测DSM、全景泊车系统SVC等。

从小白到自动驾驶系统工程师9——车载视觉传感器应用

某车型前视摄像头

车载视觉传感器技术定义:简单而言,就是用摄像头代替人眼对目标(车辆、行人、交通标志)进行识别、跟踪和测量,感知到汽车周边的障碍物以及可驾驶区域,理解道路标志的语义,从而对当下的驾驶场景进行完整描述。

车载视觉传感器优势:摄像头在技术层面相对成熟,具有较高的图像稳定性、高传输能力和抗干扰能力,且单个摄像头成本已降到200元以下,因此单车可以配备6-8个摄像头覆盖不同角度,目前国内前后装摄像头需求量已超过8000万个。

从小白到自动驾驶系统工程师9——车载视觉传感器应用

某车型360环视界面

车载视觉传感器劣势:摄像头对光线的依赖使其无法全天时(如夜晚)、全路况(如隧道)工作,需要其他传感器作为补充。

车载视觉传感器分类:依据不同的图像检测原理,可分为单目摄像头和双目摄像头,根据芯片类型又可分为CCD摄像头和CMOS摄像头,等等。

车载视觉传感器的功能:感知能力定位能力

感知能力:障碍物识别、车道线识别、交通标志识别、交通信号灯识别、可通行空间识别;

定位能力:视觉SLAM技术,根据提前建好的地图和实时的感知结果做匹配,获取当前无人车的位置。视觉SLAM需要解决的最大问题在于地图的容量过大,稍微大一点的区域,就对硬盘的容量要求很高。如何制作出足够轻量化的地图,成为SLAM技术商业化的关键。

车载视觉传感器的关键性能:

1、微光性能:微光性能对于汽车影像系统是相当重要的,卓越的微光性能可提高在夜间等光线很暗的情况的行车安全。图像传感器厂商都以“在暗处能看见”为目标。

2.高动态范围(HDR):HDR 是汽车影像系统应用的另一个重要特性,确保摄像机可在宽范围的光线 、黑暗和高光照对比情况下清楚地呈现场景细节,提高图像信息的精确度从而提升安全性。

3.广角鱼眼畸变校正(DEWARP):广角鱼眼镜头用于车载影像具有宽广视野的优势,但采集到的图像信息会产生一定程度的失真,采用 DEWARP 技术可对广角鱼眼镜头所产生的视频图像失真进行实时校正,将图像复原展平。

4.图像叠加:图像叠加指通过图像传感器与图像处理辅助芯片结合使用,实现图像的延伸、缩放、右视、两板左 / 右视、三联式画面及倒车动态辅助线。图像叠加功能可以更好地辅助驾驶员看清周围环境,减少事故发生率。

单目摄像头

单目摄像头由一个摄像机+一个镜头组成。

从小白到自动驾驶系统工程师9——车载视觉传感器应用

奥迪单目

优点:算法成熟度高;

缺点:视角问题(短焦距视野广看得近,长焦距看得远视角小)、测距精度问题。

单目摄像头有一个非常重要的功能就是障碍物分类,我们都知道,摄像头获得的是照片,但是怎么让照片和照片中的物体分类对应起来呢?此时就需要引入机器学习了。

20世纪80年代末期,用于人工神经网络的反向传播算法(也叫Back Propagation算法或者BP算法)的发明,给机器学习带来了希望,掀起了基于统计模型的机器学习热潮。这个热潮一直持续到今天。人们发现,利用BP算法可以让一个人工神经网络模型从大量训练样本中学习统计规律,从而对未知事件做预测。这种基于统计的机器学习方法比起过去基于人工规则的系统,在很多方面显出优越性。这个时候的人工神经网络,虽也被称作多层感知机(Multi-layer Perceptron),但实际是种只含有一层隐层节点的浅层模型。

从小白到自动驾驶系统工程师9——车载视觉传感器应用

2006年,加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton和他的学生RuslanSalakhutdinov在《科学》上发表了一篇文章,开启了深度学习在学术界和工业界的浪潮。这篇文章有两个主要观点:1)多隐层的人工神经网络具有优异的特征学习能力,学习得到的特征对数据有更本质的刻画,从而有利于可视化或分类;2)深度神经网络在训练上的难度,可以通过“逐层初始化”(layer-wise pre-training)来有效克服,在这篇文章中,逐层初始化是通过无监督学习实现的。与人工规则构造特征的方法相比,利用大数据来学习特征,更能够刻画出数据的丰富内在信息。

深度学习的实质:是通过构建具有很多隐层的机器学习模型和海量的训练数据,来学习更有用的特征,从而最终提升分类或预测的准确性。因此,“深度模型”是手段,“特征学习”是目的。

深度学习的不同在于:1)强调了模型结构的深度,通常有5层、6层,甚至10多层的隐层节点;2)明确突出了特征学习的重要性,也就是说,通过逐层特征变换,将样本在原空间的特征表示变换到一个新特征空间,从而使分类或预测更加容易。

从小白到自动驾驶系统工程师9——车载视觉传感器应用

摄像机的成像图是透视图,越远的物体成像越小。近处物体,需要用几百个甚至上千个像素点描述;而处于远处的同一物体,可能只需要几个像素点即可描述出来,这种特性导致,越远的地方,一个像素代表的距离越大,因此对单目来说,物体越远,测距精度越低。

双目摄像头

单目测距存在缺陷,双目摄像机应运而生。相近的两个摄像机拍摄物体时,会得到同一物体在摄像机的成像平面的像素偏移量。有了像素偏移量、相机焦距和两个摄像机的实际距离这些信息,根据数学换算即可得到物体的距离。

从小白到自动驾驶系统工程师9——车载视觉传感器应用

从小白到自动驾驶系统工程师9——车载视觉传感器应用

双目测距原理

根据双目测距原理应用在图像上每一个像素点时,即可得到图像的深度信息

优点:双目能得到较高精度的测距结果和提供图像分割的能力;

缺点:视角问题,对两个镜头的安装位置和距离要求较多,给相机的标定带来麻烦,对摄像头的一致性要求非常高。

三目摄像头

由于单目和双目都存在某些缺陷,因此广泛应用于无人驾驶的摄像机方案为三目摄像机。三目摄像机其实就是三个不同焦距的单目摄像机的组合。

从小白到自动驾驶系统工程师9——车载视觉传感器应用

采埃孚三目相机

根据焦距不同,每个摄像机所感知的范围也不尽相同。三个摄像头的感知范围由远及近,分别为前视窄视野摄像头(最远感知250米)、前视主视野摄像头(最远感知150米)及前视宽视野摄像头(最远感知60米)。

由于三目摄像机每个相机的视野不同,因此近处的测距交给宽视野摄像头,中距离的测距交给主视野摄像头,更远的测距交给窄视野摄像头。这样一来每个摄像机都能发挥其最大优势,可以得到较好的测距精度

三目摄像机能较好地弥补感知范围的问题。但是需要同时标定三个摄像机,因而工作量更大。其次软件部分需要关联三个摄像机的数据,对算法要求也很高。

鱼眼相机

之前提到的三款摄像机它们所用的镜头都是非鱼眼的,环视摄像机的镜头是鱼眼镜头,而且安装位置是朝向地面的。

鱼眼镜头是一种焦距为16mm或更短的并且视角接近或等于180°的镜头。 它是一种极端的广角镜头,“鱼眼镜头”是它的俗称。为使镜头达到最大的摄影视角,这种摄影镜头的前镜片直径很短且呈抛物状向镜头前部凸出,与鱼的眼睛颇为相似,“鱼眼镜头”因此而得名。

从小白到自动驾驶系统工程师9——车载视觉传感器应用

鱼眼镜头属于超广角镜头中的一种特殊镜头,它可以获得较大视野,但是图形畸变严重。通过标定值,进行图像的投影变换,可将图像还原成俯视图的样子。之后对四个方向的图像进行拼接,再在四幅图像的中间放上一张车的俯视图,即可实现从车顶往下看的效果。

从小白到自动驾驶系统工程师9——车载视觉传感器应用

事件驱动型摄像头

在传统的视觉领域,相机传回的信息是同步的,所谓同步,就是在某一时刻t,相机会进行曝光,把这一时刻所有的像素填在一个矩阵里回传,一张照片就诞生了。

传统摄像头为取悦人眼而存在,应用于机器视觉并不经济。时间驱动型摄像头DVS采用新型的仿生原理图像传感器芯片,全时全速追踪运动物体,有效过滤冗余背景信息,输出运动物体的结构化场景信息,实现感知端预处理,减轻后端信号处理算法的复杂度,并使用更低的计算资源处理器来实现实时处理能力。

从小白到自动驾驶系统工程师9——车载视觉传感器应用

事件驱动型摄像头的工作机制是,当某个像素所处位置的亮度值发生变化时,相机就会回传一个具有四组数据的事件,其中前两项为事件的像素坐标,第三项为事件发生的时间戳,最后一项取值为极性(polarity)0、1,(或者-1、1)代表亮度是由低到高还是由高到低,也常被称作Positive or Negtive Event,又被称作On or Off Event。就这样,在整个相机视野内,只要有一个像素值变化,就会回传一个事件,这些所有的事件都是异步发生的(再小的时间间隔也不可能完全同时),所以事件的时间戳均不相同,由于回传很简单,所以和传统相机相比,它具有低时延的特性,可以捕获很短时间间隔内的像素变化。

DVS的特点:无固定观察频率、响应速度灵敏、脉冲式信息读取和输出、像素电路间并行处理、主动特征提取,无多余背景信息。自动驾驶、尤其是L4、L5高度自动驾驶,面临大量对实时和高速处理要求高、算力不可达的场景,以及一些边缘性场景(Corner Case),基于上述原理和核心技术,DVS动态视觉传感器有能力解决。比如特斯拉Model S将卡车误判为白云、Uber自动驾驶车辆夜晚撞死横穿马路的行人、以及自动驾驶车辆进出隧道光强变化等场景。

DVS技术在许多领域将有重要应用,除运用自动驶ADAS系统中外,还可应用于机器人和无人机防撞系统、体感和人机交互工业过程控制、爆炸/碰撞分析、安防监控、物联网、高速运动物体轨迹记录与实时分析等。

从小白到自动驾驶系统工程师9——车载视觉传感器应用

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/62726.html

(0)

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

关注微信