一种RGB-D跨模态行人再识别深度网络的制作方法
admin
2022-11-26 13:05:32
0次
该技术已申请专利。仅供学习研究,如用于商业用途,请联系技术所有人。 一种RGB-D跨模态行人再识别深度网络的制作方法
一种rgb-d跨模态行人再识别深度网络
技术领域
1.本发明涉及一种rgb-d跨模态行人再识别领域,具体是一种rgb-d跨模态行人再识别深度网络。


背景技术:

2.rgb-d跨模态行人再识别旨在rgb模态与深度模态的行人图像间进行跨模态的行人的匹配。杂乱的背景、不同模态间巨大的差异均使跨模态的识别颇具困难。行人重识别是计算机视觉的热门研究方向,其对智能安防、视频监控的发展有着重大意义.目前大部分工作主要集中在研究基于可见光的行人重识别,然而可见光摄像头无法在光线不足的黑夜中正常使用,而新型摄像头能够随机切换红外模式进行24小时视频监控。
3.因此,目前仅有很少的工作关注于该研究任务。具体来说,有些文献提取手工设计的特征来识别行人,缺乏抽象语义表达。还有些文献提出了rgb-d跨模态的深度网络,利用蒸馏学习技术约束rgb的图像的特征与其一一对应的深度图的特征尽可能的相似,从而减小模态间的差异。尽管已经取得了良好的实验结果,但是它忽略了复杂的图像背景对网络的影响。


技术实现要素:

4.对于现有的产生的问题,本发明的目的在于提供一种rgb-d跨模态行人再识别深度网络,以解决上述背景技术中提出的问题。
5.为实现上述目的,本发明提供如下技术方案:
6.一种rgb-d跨模态行人再识别深度网络,包括浅层特征提取器和级联增强网络,所述的浅层特征提取器输出端和级联增强网络的输入端连接,浅层特征提取器由resnet50的初始层和block1组成;
7.级联增强网络包括block2、block3和block4,block2和block3之间设有全局增强单元,block3和block4之间也设有全局增强单元,级联增强网络在resnet50的block2-4的基础之上,加入了多个全局增强单元来提升特征的全局上下文信息表达能力;resnet50的不同block用于提取不同尺度的特征;不同尺度的特征包含了不同的感受野和不同深度的语义信息。
8.作为本发明进一步的方案:所述的全局增强单元为non_local网络,non_local网络能够获取任意两个位置的空间关系,并在每一个位置上嵌入所有位置对该位置的影响,从而通过使用空间上下文来提升特征的全局表达。
9.作为本发明进一步的方案:所述的浅层特征提取器输入端是rgb与深度图像,且其在两个模态间权重不共享,从而提取两个模态间特有的特征。
10.作为本发明进一步的方案:所述的级联增强网络的输入是浅层特征提取器的输出,级联增强网络在两个模态间参数共享,从而获取两个模态间共有的深度特征。
11.与现有技术相比;本发明的有益效果是:本发明先对图像进行了处理来移除大部
分的图像,从而减小复杂背景带来的影响。此外,本发明在常见的主干网络的基础上,加入了若干个全局增强单元(globalenhancementunit)去获取全局上下文信息。每个增强网络能够获取任意两个位置的空间关系,并在每一个位置上嵌入所有位置对该位置的影响,从而通过使用这种空间上下文来提升特征的全局表达。因此,本发明在不同层级的全局语义特征后均加入了该增强网络,增强对不同尺度特征的全局表达能力,构成了级联增强的模式。通过这种连接方式,上一尺度的特征可以迭代处理去获取下一尺度的特征,并提供更详细的语义信息。以这种方式,级联的特征增强网络通过层层递进,逐层加强全局特征的方式,获取了更加丰富的全局空间信息,从而提升全局特征的表征能力,进而使特征对于图像的背景噪声具有较强的鲁棒性。
12.在现有方法中,忽略了复杂的图像背景对网络的影响。为了改善这个问题,一方面,本发明先使用图像处理算法来移除大部分的背景,从而减少复杂背景对图像的影响。另一方面,使用级联的增强提取器获取rgb与深度图中的深度特征,通过提升特征的辨别性来提升对背景噪声的鲁棒性。
13.本发明属于计算机视觉领域,更具体地,涉及一种rgb-d跨模态行人再识别深度网络。该网络先通过图像处理算法来减少复杂背景对图像的影响,然后使用级联的增强提取器获取rgb与深度图中的深度特征。级联的特征增强网络通过层层递进,逐层加强特征的方式,获取了更加丰富的全局空间信息,从而提升特征的空间关系的建模能力和表征能力。
附图说明
14.图1为rgb-d跨模态行人再识别深度网络的结构示意图。
15.图2为rgb-d跨模态行人再识别深度网络中级联增强网络的的结构示意图。
具体实施方式
16.下面将结合本发明实施例中的附图;对本发明实施例中的技术方案进行清楚、完整地描述;显然;所描述的实施例仅仅是本发明一部分实施例;而不是全部的实施例。基于本发明中的实施例;本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例;都属于本发明保护的范围。
17.在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“设有”、“相连”、“连接”应做广义理解;例如,可以是固定连接,也可以是可拆卸连接,或一体地连接,可以是机械连接,也可以是电连接,可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
18.请参阅图1-2所示,一种rgb-d跨模态行人再识别深度网络,包括浅层特征提取器和级联增强网络,所述的浅层特征提取器输出端和级联增强网络的输入端连接,浅层特征提取器由resnet50的初始层和block1组成;浅层特征提取器输入端是rgb与深度图像,且其在两个模态间权重不共享,从而提取两个模态间特有的特征。
19.级联增强网络的输入是浅层特征提取器的输出。级联增强网络在两个模态间参数共享,从而获取两个模态间共有的深度特征。
20.级联增强网络包括block2、block3和block4,block2和block3之间设有全局增强
单元globalenhancementunit,block3和block4之间也设有全局增强单元globalenhancementunit,级联增强网络该网络在resnet50的block2-4的基础之上,加入了多个全局增强单元来提升特征的全局上下文信息表达能力。具体来说,resnet50的不同block用于提取不同尺度的特征。不同尺度的特征包含了不同的感受野和不同深度的语义信息。本发明在多个尺度的特征后都接入了全局增强单元,从而获取多个尺度的全局上下文信息。并且在每个尺度中,通过残差连接将强化后的特征与原始特征级联起来输入到下一个尺度的特征提取block中。通过这种连接方式上一层的特征可以迭代处理,得到下一层的特征,并提供更详细的语义信息。以这种方式,级联的特征增强网络通过层层递进,逐层加强全局特征的方式,获取了更加丰富的全局空间信息,从而提升全局特征的表征能力,进而使特征对于图像的背景噪声具有较强的鲁棒性。
21.本文采用non_local网络作为全局增强单元(globalenhancementunit),该增强网络能够获取任意两个位置的空间关系,并在每一个位置上嵌入所有位置对该位置的影响,从而通过使用空间上下文来提升特征的全局表达。
22.深度图中目标行人所占面积较小,而复杂的背景占据了大部分的面积。由于深度图像对噪声比较敏感,因此本发明先移除了图像对中大部分的背景来减小复杂背景带来的影响。
23.具体来说,由于深度图与rgb图像是一一对应的,发明先使用检测算法[4]来检测出rgb图像中的行人,并根据检测出的行人的位置,将rgb与深度图裁剪出来。但是,一张图中可能存在不只一个行人,算法会不清楚选择哪个行人的位置进行裁剪。为了解决该问题,本发明提出了下述的解决思路:由于目前的数据集给出的均是rgb与深度视频序列,本发明充分利用视频序列的上下文关系。根据行人行走速度不会太快的先验信息,因此相邻两帧的行人位置差异不会太大。若视频某一帧中,检测出了不只一个行人,那么选择与上一帧最近的行人,并依据他的位置对图片进行裁剪。如果视频第一帧中就出现了不只一个行人,则人工筛选目标的位置,视频后续帧将按照上述原则进行处理。
[0024]
由于深度图容易受到背景噪声的影响,本发明先对图像进行了处理来移除大部分的图像,从而减小复杂背景带来的影响。此外,本发明在常见的主干网络的基础上,加入了若干个全局增强单元(globalenhancementunit)去获取全局上下文信息。每个增强网络能够获取任意两个位置的空间关系,并在每一个位置上嵌入所有位置对该位置的影响,从而通过使用这种空间上下文来提升特征的全局表达。因此,本发明在不同层级的全局语义特征后均加入了该增强网络,增强对不同尺度特征的全局表达能力,构成了级联增强的模式。通过这种连接方式,上一尺度的特征可以迭代处理去获取下一尺度的特征,并提供更详细的语义信息。以这种方式,级联的特征增强网络通过层层递进,逐层加强全局特征的方式,获取了更加丰富的全局空间信息,从而提升全局特征的表征能力,进而使特征对于图像的背景噪声具有较强的鲁棒性。
[0025]
在现有方法中,忽略了复杂的图像背景对网络的影响。为了改善这个问题,一方面,本发明先使用图像处理算法来移除大部分的背景,从而减少复杂背景对图像的影响。另一方面,使用级联的增强提取器获取rgb与深度图中的深度特征,通过提升特征的辨别性来提升对背景噪声的鲁棒性。
[0026]
本发明属于计算机视觉领域,更具体地,涉及一种rgb-d跨模态行人再识别深度网
络。该网络先通过图像处理算法来减少复杂背景对图像的影响,然后使用级联的增强提取器获取rgb与深度图中的深度特征。级联的特征增强网络通过层层递进,逐层加强特征的方式,获取了更加丰富的全局空间信息,从而提升特征的空间关系的建模能力和表征能力。
[0027]
对于本领域技术人员而言;显然本发明不限于上述示范性实施例的细节;而且在不背离本发明的精神或基本特征的情况下;能够以其他的具体形式实现本发明。因此;无论从哪一点来看;均应将实施例看作是示范性的;而且是非限制性的;本发明的范围由所附权利要求而不是上述说明限定;因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
[0028]
此外;应当理解;虽然本说明书按照实施方式加以描述;但并非每个实施方式仅包含一个独立的技术方案;说明书的这种叙述方式仅仅是为清楚起见;本领域技术人员应当将说明书作为一个整体;各实施例中的技术方案也可以经适当组合;形成本领域技术人员可以理解的其他实施方式。

相关内容

热门资讯

自荐信要怎么写 自荐信要怎么写  1、语气自然 语言和句子要简单明了。不要听上去象别人的话,特别是用一些你从未用过的...
描写古代女子美貌的句子 导语:窈窕淑女,君子好逑,以下是小编精心为大家搜集整理的描写古代女子美貌的句子,供大家参考。描写古代...
过年回家句子 过年回家句子(精选95句)  在平平淡淡的日常中,大家都收藏过自己喜欢的句子吧,根据用途和语气,句子...
抖音点赞最火最高句子 抖音点赞最火最高句子  在平日的学习、工作和生活里,许多人对一些广为流传的句子都不陌生吧,根据用途和...
世界上最悲伤的句子   1、年少青春在还没有经受起挥霍时就已经不复长存,青梅竹马也只是儿时无知岁月用来消遣光阴的无谓道具...
生活积极的句子 关于生活积极的句子  也许一个人,要走过很多的路,经历过生命中无数突如其来的繁华和苍凉后,才会变的成...
激励上进的正能量句子 激励上进的正能量句子  在我们平凡的日常里,大家总少不了接触一些耳熟能详的句子吧,在不同类型的文章里...
纪念烈士缅怀先烈的句子 2022纪念烈士缅怀先烈的句子(精选65句)  在现实生活或工作学习中,大家都接触过比较经典的句子吧...
回归家乡的句子 回归家乡的句子  句子是语言运用的基本单位,它由词、词组(短语)构成,能表达一个完整的意思,如告诉别...
描写小兔子的段落 描写小兔子的段落大全  1、兔子浑身长满了毛茸茸的白毛,远远看去像一团棉花。它的一双红眼睛被白毛包住...