该技术已申请专利。仅供学习研究,如用于商业用途,请联系技术所有人。

1.本发明属于目标检测技术领域,涉及一种基于自动驾驶场景多模态融合的抗干扰目标检测方法。
背景技术:2.随着城市进程的加快,城市中车辆数量急剧增多,伴随而来的交通问题愈加明显。随着人工智能和大数据技术的发展,自动驾驶可以将驾驶员从繁重且机械化的驾驶中脱离出来,降低驾驶员等人为因素造成的交通事故,提升道路通行效率。而自动驾驶目前的难题就是“感知”,虽然自动驾驶在清晰场景下的有较好的性能,而在复杂场景中仍然存在诸多局限,尤其是在夜晚低光照以及雨、雪、雾等复杂天气干扰条件下,导致能见度急剧下降,目标背景反差劣化。
3.自动驾驶技术需要依靠多种传感器来实现,以弥补单模态数据的信息缺失,通常使用激光雷达、可见光摄像头、毫米波雷达等来了解周围的交通情况。在面对雨、雪、雾、霾等复杂天气干扰时,虽然可见光图像虽然具有丰富的纹理信息,但是复杂天气干扰也会降低图像质量,影响检测结果,因此现有的解决方法多是使用激光雷达,但是远距目标尺寸小、细节少,与雨、雪等颗粒干扰表观相似而难以区分,具有特有的结构形态和运动模式,并且不均匀雨雾将于产生的团状雾会让激光雷达产生虚警,从而判断成障碍物,对系统的造成较大影响,因此复杂天气会影响激光点云的准确性和完整性。
4.近红外传感器具有较好的透射率,在受到雨雪雾以及夜间低光照场景等恶劣条件下,均有良好的成像效果,对于在可见光图像中呈现稀疏、高亮特点的雨雾天气,在近红外中几乎不可见,此外其可以采用与可见光同样的常规低成本的透镜,可以与可见光同时集成在同一传感器中,因此可以实现与可见光图像共光轴,不需要配准和对齐,减少了不必要工作量的同时,降低了设备采集的成本,同时对近红外图像处理的计算量远小于激光雷达的3d点云数据,有利于在车载资源受限平台的部署实现。同时近红外没有丰富的纹理色彩信息,对于目标的识别缺乏优势,因此与可见光结合可以弥补单模态数据的信息缺失,如何将两个模态的不同表观特征的图像有机结合用于目标的探测识别是一项较大的难题。
5.由此可见,自动驾驶场景的目标检测存在恶劣天候干扰条件下的突出挑战,急需更有效的方法提升检测的抗干扰能力。
技术实现要素:6.为了克服现有技术的不足,本发明提供一种基于自动驾驶场景多模态融合的抗干扰目标检测方法,用来应对自动驾驶场景的目标检测存在的夜晚低光照以及雨、雪、雾等复杂天气的干扰,可同时可用于其他存在复杂干扰条件下的目标检测任务,突破单一模态的的探测瓶颈,提升目标检测的性能。
7.为了实现上述目的,本发明对抗干扰目标进行检测的具体过程为:(1)数据集构建:
使用可见光近红外同光轴相机采集不同场景下的自动驾驶场景图像数据,并对数据进行标注后构建数据集,并将数据集按照6:2:2的数量比分为训练集、验证集和测试集;(2)差异化特征提取:将可见光图像和近红外图像分别输入不同的差异化特征提取网络提取特征,得到两组基础特征;(3)学习速率约束:将步骤(2)得到的两组基础特征分别输入学习速率约束模块,用于控制不同模态分支的更新速率;(4)模态特征融合:将步骤(3)经过学习速率约束模块的基础特征输入模态特征融合模块,将两个模态的特征融合得到模态融合特征用于后续的目标检测;(5)目标检测:将步骤(4)得到的模态融合特征输入目标检测模块,在提取的特征后连接两层卷积核为3
×
3的卷积层,在输出特征图的每一个位置设定三个不同长宽比的锚框,然后使用两个参数不共享的全连接层学习目标框位置信息和分类信息,其中目标框位置信息为真实目标位置与锚框的偏差,分类信息为目标框的不同类别,如背景、行人或车辆等。
8.(6)训练和测试网络,输出检测结果:使用步骤(1)采集到的训练数据进行训练,将尺寸为640
×
512的近红外图像和可见光图像依次输入差异化特征提取网络、学习速率约束模块、学习速率约束模块和目标检测模块,最终输出预测的目标位置和类别,使用真实目标位置和类别与预测的结果进行误差计算,使用focal损失计算类别误差,使用平滑l1损失来计算预测目标位置与真实目标位置的误差,通过反向传播更新参数,经过200个完整迭代后,保存最好的模型参数,作为最终模型训练好的参数,即得到训练好的抗干扰目标检测网络参数,然后将步骤(1)采集到的测试数据进行测试,得到目标的位置和类别。
9.作为本发明的进一步技术方案,步骤(1)所述不同场景包含夜晚低光照以及雨、雪、雾天气场景,不同模态图像采集各1500张,对数据标注的内容包含目标的位置和类别,其中位置包含目标的中心点和长宽,类别包含车辆和行人两个类别。
10.作为本发明的进一步技术方案,步骤(2)提取可见光图像特征的差异化特征提取网络包括五个卷积模块,每个卷积模块包含两个卷积层、三个激活层和一个最大池化层;提取近红外图像特征的差异化特征提取网络包括五个卷积模块,每个卷积模块包含一个卷积层、两个激活层和一个平均池化层。
11.作为本发明的进一步技术方案,步骤(3)所述学习速率约束模块由一层全连接层组成,在反向梯度传播时,针对不同的模态其梯度乘以不同的系数,以控制不同模态的学习速率,同时全连接层增加网络的非线性拟合能力。
12.作为本发明的进一步技术方案,步骤(4)所述模态特征融合模块由两个分支组成,其中一个分支将两个模态的特征对应相乘,增加相似特征的显著性,即“求同”;另一个分支是将两个模态的特征进行相加,保留差异性特征,即“存异”。
13.与现有技术相比,本发明为应对自动驾驶场景的夜晚低光照以及雨、雪、雾等复杂天气干扰,考虑到单一模态信息缺失问题,采用可见光和近红外图像互补多模态结合的探
测手段。从特征层面多模态数据进行充分利用,针对近红外和可见光的不同表观特征,设计不同的主干网络分别用于提取可见光和近红外图像的基础特征,用于提取基础特征;并针对两组图像信息丰富程度不一、学习困难程度不一致的问题,在不同的分支使用学习速率约束模块,用于控制不同模态分支的更新速率;然后使用模态融合模块将两组特征进行融合,实现相似特征和互补特征的保留,即求同存异,实现两个模态的信息的充分利用,检测精度高,降低了在复杂干扰场景的检测漏检率。
附图说明
14.图1为本发明实现抗干扰目标检测的网络结构框架示意图。
15.图2为本发明实现抗干扰目标检测的流程框图。
16.图3为本发明实施例2的检测实例一,其中(a)为yolov3目标检测方法的检测结果图,(b)为本发明所述方法的检测结果图。
17.图4为本发明实施例2的检测实例二,其中(a)为yolov3目标检测方法的检测结果图,(b)为本发明所述方法的检测结果图。
具体实施方式
18.下面结合附图,通过实施例进一步描述本发明,但不以任何方式限制本发明的范围。
19.实施例:本实施例采用如图1所示的网络结构和图2所示的流程实现抗干扰目标的检测,具体包括如下步骤:(1)数据集构建:使用可见光近红外同光轴相机采集不同场景下的自动驾驶场景图像数据,包含夜晚低光照以及雨、雪、雾等复杂天气场景,不同模态图像采集各1500张;由于可见光近红外是同光轴图像因此无需配准和对齐,直接对数据进行标注构建数据集,标注的内容包含目标的位置和类别,位置包含目标中心点和长宽,类别包含车辆和行人两个类别;并将数据集分为训练集、验证集和测试集,其数量比例为6:2:2;(2)差异化特征提取:针对近红外和可见光的不同表观特征,设计不同的差异化特征提取网络分别用于提取可见光和近红外图像的基础特征,其中可见光图像纹理复杂多变,信息复杂程度高,可见光图像的差异化特征提取网络使用五个卷积模块,其中每个卷积模块包含两个卷积层、三个激活层和一个最大池化层,使用最大池化层是因为最大池化层对纹理更加敏感;近红外图像纹理相对平缓,背景干扰相对较少,近红外图像的差异化特征提取网络同样使用五个卷积模块,每个卷积模块包含一个卷积层、两个激活层和一个平均池化层,而平均池化层有利于对纹理较少、平滑的近红外图像提取特征,由此得到可见光和近红外的两组基础特征;(3)学习速率约束:针对两组图像信息丰富程度不一、学习困难程度不一致的问题,在不同的分支使用学习速率约束模块,用于控制不同模态分支的更新速率,其中学习速率约束模块使用不
同模态的基础特征作为输入,学习速率约束模块由一层全连接层组成,在反向梯度传播的时候,针对不同的模态其梯度会乘以不同的系数,以控制不同模态的学习速率,同时全连接层也能增加网络的非线性拟合能力;(4)模态特征融合:将步骤(3)经过学习速率约束模块的基础特征输入模态特征融合模块,用于两个模态的特征融合,模态特征融合模块由两个分支组成,第一个分支是将两个模态的特征对应相乘,增加相似特征的显著性,即“求同”,而另一个分支是将两个模态的特征进行相加,保留差异性特征,即“存异”,将两个分支的输出特征合并在一起得到模态融合特征用于后续的目标检测;(5)目标检测:将模态融合特征输入目标检测模块,在提取的特征后连接两层卷积核为3
×
3的卷积层,在输出特征图的每一个位置设定三个不同长宽比的锚框,然后使用两个参数不共享的全连接层学习目标框位置信息和分类信息,其中目标框位置信息为真实目标位置与锚框的偏差,分类信息为目标框的不同类别,如背景、行人或车辆等;(6)训练和测试,输出检测结果:使用步骤(1)采集到的训练数据进行训练,将尺寸为640
×
512的近红外图像和可见光图像依次输入差异化特征提取网络、学习速率约束模块、学习速率约束模块和目标检测模块,最终输出预测的目标位置和类别;使用真实目标位置和类别与预测的结果进行误差计算,使用focal损失计算类别误差,使用平滑l1损失来计算预测目标位置与真实目标位置的误差;通过反向传播更新参数,经过200个epoch迭代后,保存最好的模型参数,作为最终模型训练好的参数,即得到训练好的抗干扰目标检测网络参数,然后将步骤(1)采集到的测试数据进行测试,得到目标的位置和类别。
20.实施例2:本实施例采用实施例1的技术方案在采集的数据集中进行测试,其中测试数据集包含150对车辆红外-可见光数据和150对行人红外-可见光数据,在yolov3目标检测方法中只使用可见光数据进行测试,本实施例使用红外-可见光数据进行融合,实验结果表明,相比现有yolov3目标检测方法,本实施例的检测精度从86.2%提高到92.4%,两组实物检测效果图如图3和图4所示,(a)为yolov3的检测结果(只有可见光图像的检测结果),(b)为本实施例使用红外-可见光多模态数据的检测结果,最终呈现在红外图像上,由实验结果图可以看出,本实施例极大的降低了在复杂干扰场景的检测漏检率。
21.本文中未详细描述的网络结构、算法均为本领域通用技术。
22.需要注意的是,公布实施例的目的在于帮助进一步理解本发明,但是本领域的技术人员可以理解:在不脱离本发明及所附权利要求的精神和范围内,各种替换和修改都是可能的。因此,本发明不应局限于实施例所公开的内容,本发明要求保护的范围以权利要求书界定的范围为准。