通过多传感器融合追求更高安全性,已成为自动驾驶公司的行业共识。
红外热像仪的加入,或许会为感知冗余解决方案增加一项新选择。
近日,苹果汽车公布了一项汽车夜视系统专利。
专利描述显示,该系统结合可见光、近红外波传感器和长红外波传感器,可以解决夜间或低光环境物体检测和分类的挑战。
而此处的长红外波传感器,即红外热像仪。能入以重视安全及稳定性为基线的苹果法眼,可见其自有高明之处。
那么,在同样重视行驶安全的自动驾驶汽车中,红外热像仪可如何应用?是否能成为自动驾驶的标配传感器呢?
何为红外热像仪?任何表面温度高于-273℃的物体都会向外辐射红外波,通过红外热像仪,可以将物体温度差异以不同颜色的图像显示。
温度越高,辐射的能量越大。
红外线的波长区间为0.75微米至1000微米之间,通过波长的不同可分为五种类别,分别是:
近红外,波长范围0.75微米-1.4微米
短红外,波长范围1.4微米-3微米
中红外,波长范围3微米-6微米
长红外,波长范围6微米-15微米
远红外,波长范围15微米-1000微米
其中,由于大气中二氧化碳、水蒸气、臭氧、一氧化碳等各种微粒可吸收和反射光线,红外线中仅有近红外、中红外及长红外可穿透大气。
三种红外波长不同,应用方式也不同。
近红外成像方式主要根据室温目标温度与环境温度对比,如黑白相片般呈现物体细节。
尤其在可见度低的夜间环境,星月散发的微光和大气辉光中辐射的红外主要集中在近红外波段,可通过近红外夜视增强视觉感知能力。
不过,近红外波无法测量物体温度,不属于红外热像仪的波长。
中、长红外根据物体温度显示图像,不受光线影响并可穿透大气,其感知范围在几十米至数千米之间,可帮助驾驶员在白昼夜间、雾霾雨雪天气以及对面车灯眩光等人眼能见度较低的情况下看清路况。
因此,这两种波长为红外热像仪的主要波段,广泛应用于包括汽车在内的多个领域。
苹果汽车专利中显示,通过可见光提供最高的分辨率,辅之以探测距离较远的近红外传感器,以及探测范围较宽的长红外传感器,可清晰显示前灯范围之外的行人与危险物体。
多种红外技术的融合使用,自动驾驶汽车可在多种环境下感知目前无法准确识别的目标,获得更清晰视野。
红外热像仪的使命为了尽可能提高自动驾驶安全性,主机厂和自动驾驶方案提供商不断为汽车增加多种传感器,以减少安全事故发生。
激光雷达、毫米波雷达、光学相机等传感器悉数上阵,然而技术事故仍然层出不穷。
2018年3月夜间,搭载以上传感器的一辆Uber自动驾驶汽车,在美国利桑那州坦佩州撞死一名横穿马路的妇女。
事故汽车拍摄视频中显示,当时Uber自动驾驶汽车正高速行驶在光线环境极差的路段,仅有汽车前灯照明。一名女子突然从黑暗中闯至车前,车辆没有作出制动措施导致悲剧发生。
美国国家安全委员会对这起事故展开深入调查,报告显示在事故发生前5.6秒,该车的激光雷达就已检测到受害者,但将其归类为汽车。
此后的几秒内,系统将其判断为汽车、自行车、未知物体,始终未将受害者归类为行人。
根据美国国家公路运输安全管理局的数据,2016年美国因光线问题或不良照明习惯引起撞车事故超过700万起,其中近200万起发生在黑暗中。而在所有夜间撞车事故中,致命车祸有18000起。
假若Uber的自动驾驶车辆搭载红外热像仪,即可在检测到人类的瞬间将其归类为行人,并第一时间采取相应措施。
红外热像仪公司FLIR曾经重现该事故,发现红外热像仪比激光雷达早4倍探测到行人。
事实上,红外热像仪作为辅助传感器出现在汽车上不是新鲜事。
据佐思汽研数据显示, 2019年在中国装配夜视系统的乘用车新车销量为4,609套,凯迪拉克、奔驰、宝马、奥迪等豪华车型都曾搭载红外热像仪。
因其特性,红外热像仪近期也走进了无人驾驶公司的视线中。
去年,Cruise发布了旗下首款无人汽车Origin,可提供无安全员的出租车服务。该车搭载了Cruise内部命名为“Superhuman Lidar”的红外热像仪。
12月,Zoox发布的首款纯电动无人驾驶汽车中也搭载这一传感器,可全天候在城市街道中对物体准确识别和分类。
目前,红外热像仪在自动驾驶汽车的应用上分为两种:整车应用及整车部件应用。
整车应用即自动驾驶汽车搭载多个红外热像仪,以此实现360度环境扫描。
整车部件应用即红外热像仪与汽车内外多种部件融合,通过汽车部件感知行驶环境。
在汽车外部应用上,红外热像仪可与汽车前灯融合,自动驾驶汽车的探测范围更广。
通过深度学习,系统检测到前方物体后,车灯还可自动切换远近光灯,并转向物体所在方向。目前,汽车夜视厂商Veoneer的第三代夜视系统已具备此项功能。
汽车内部应用上,红外热像仪与AEB自动紧急制动系统结合,汽车在遇到危险时可主动刹车或减速。
除此之外,近红外技术还应用于方向盘、前置摄像头用以检测驾驶员是否疲劳驾驶以及身份识别等。
红外热像仪与汽车深度融合,或将进一步提升汽车整体智能化。
将会成为自动驾驶标配?关于红外热像仪是否能广泛应用于自动驾驶汽车,成为行业标配传感器的争议长期存在。
Mobileye的高级副总裁丹·高维斯曾表示:“它并不是一个你真正需要的东西,因为光学相机在夜间可以很好地工作,并且你还有一个不会受到光影响的雷达系统作为备用。”
而Seek Thermal的副总裁提姆·勒博反驳,现在自动驾驶汽车普遍使用的光学雷达无法探测物体热量以判别是否为活物。
他还举例美国国家运输安全委员会在Uber事故中的报告中认为,也支持汽车使用能够更好区分物体和人类的传感器。
从双方的争论中不难看出,红外热像仪是否能在自动驾驶汽车中广泛应用,关键在于其它传感器是否能在夜间清楚识别物体。
随着传感器近年的不断升级,夜间感知能力也与之提升。目前已有无人驾驶公司采用高动态范围相机提高无人驾驶汽车的夜间可视能力。
具体来说,高动态范围相机即HDR相机,广泛应用于智能手机中。尽管高动态范围相机可以提供更多细节,但是高动态范围相机也存在其缺点,即在拍摄过程中出现运动物体与闪光时,其成像有几率模糊。在生物识别上,其表现能力或许不能与红外热像仪媲美。
其根源在于,红外热像仪不受光线影响,通过精准测温可更准确的判断生物。
例如,FLIR 红外热像仪可测量-80°C至+3000°的目标温度,并识别 0.01°C 的温度变化。
同时,红外热像仪与雷达不同,热成像不会发送信号探测附近的障碍物,而是吸收周围生物和物体产生的热量,比其他传感器耗电更少。
即便红外热像仪作为冗余方案表现优秀,但目前也存在诸多缺陷,使其迟迟无法被市场普遍接受。
奥迪发言人埃伦·凯里表示,“夜视相机和自动驾驶领域里的其他硬件一样,既有好处也有它的弊端。热成像传感技术还需要克服成本、视野和耐用性方面的挑战,来满足自动化级传感器的严格标准。”
首先在成本方面,以美国、以色列为主的红外热像仪厂商经过多年研发,其成本已由5千美元降低至1000美元,甚至更低。
麦姆斯咨询的数据显示,由于制造工艺改进、制造规模显著增加,目前可以大规模生产用于L2级及以上级别的红外热像仪,未来每台价格仅需几百美元。
尽管如此,相较于毫米波雷达、光学相机等传感器成本,及其为自动驾驶带来冗余价值,红外热像仪的性价比仍然较低。
在视野方面,红外热像仪普遍较小。即使是红外热像仪知名厂商FLIR,其产品最大水平视场为75度,远低于上百度、甚至360度的激光雷达和毫米波雷达的水平视场。
另外,红外热像仪的耐用性也是一大问题。
红外热像仪在使用过程中会因内部零件磨损老化导致精确度降低,使用数年后需要更换零部件,目前难以达到与其他车规级传感器同样使用寿命。
尽管最近多家公司正将红外热像仪应用于无人驾驶汽车,但是否能成为行业主流仍存在疑问。即使其可穿透大气,但也会因大雾、浓烟等空气中颗粒增多导致可探测范围缩小。
元戎启行副总裁刘念邱告诉新智驾:“单从冗余角度来看,热传感器也可以作为多传感器融合的一种输入特征,增强效果的准确性。对于热成像传感器是否采用,还需要根据使用场景来评估,由于热成像传感器受环境影响较大,因此需要综合评估。”
总 结美国自动驾驶汽车厂商Nutonomy首席执行官Karl Iagnemma认为,红外成像能够在黑暗环境和恶劣天气条件下稳定工作,是其他传感器的天然互补。
当前,各主机厂和造车新势力纷纷宣布旗下新款车型将采用激光雷达,以多传感器融合带来更高的安全性和高级自动驾驶作为宣传卖点,正印证着如何为用户带来更好的驾驶体验是未来汽车的发展趋势,而红外热像仪的应用一定程度能够满足这一点。
业界普遍认为,2022年-2023年将是L2级及以上自动驾驶汽车大规模采用红外热像仪的时间节点。
随着红外热像仪改良计划的实施和汽车规模的逐步扩大,红外热像仪或将成为辅助驾驶系统和自动驾驶汽车传感器中的经济型组件,可大规模生产使用。
尽管目前自动驾驶公司对红外热像仪的实用性看法不一,但能肯定的是,通过各种技术方案保证汽车行驶安全,将是无人驾驶公司和汽车厂商不变的主旋律。
雷锋网雷锋网雷锋网