让你的弹幕更“聪明”西浦最新研究成果升级视频中人物和背景分割技术
admin
2021-01-02 01:56:14
0

中国江苏网5月27日讯(记者袁涛 通讯员胡秋辰 金画恬)弹幕作为一种新的互动方式,近年来逐渐在各大视频网站推广开来。在享受弹幕带来的陪伴和热闹的同时,你会不会也有观感被影响的时候?如今有一项新的技术可以把视频中的人和背景分割开来,为观众带来更好的体验。

西交利物浦大学智能工程学院学者的研究为这项技术带来新的发展,他们提出的模型在大幅度提升速度的同时还提高了识别的准确率。

让你的弹幕更“聪明”西浦最新研究成果升级视频中人物和背景分割技术

该研究成果于近日收录于计算机视觉领域最顶级的IEEE国际计算机视觉与模式识别会议(IEEE Conference on Computer Vision and Pattern Recognition,CVPR),这也是西浦第一篇以第一作者和第一单位身份收录于该会议的文章。

据论文的第一作者、西浦电气与电子工程系博士生孙铭杰介绍,他们的研究使用了强化学习算法来解决如何快速、准确地跟踪到视频中的对象并将其与视频背景进行分离的问题。这项技术能够被广泛应用在视频弹幕、影视制作等领域,未来甚至有可能让电影特技拍摄告别绿幕,直接在复杂背景中进行抠图。

孙铭杰的指导老师肖继民博士指出,强化学习在人工智能领域内是一项非常前沿的技术,目前关注度很高,比如战胜了围棋世界冠军的人工智能机器人AlphaGo就是其中的知名应用。“使用强化学习算法研究视频对象跟踪与分割的过程中有一些很容易被忽视的技术难点,作为老师应该鼓励博士生紧跟这些最前沿的技术,挑战有技术深度和应用前景的课题。”

孙铭杰把研究重点放在目标模版的判定这一细节上。通过使用强化学习算法训练模型,它可以智能、自主地完成“是否要用新的识别对象去替换原有的目标模板”这一决策判定。

他解释道:“当计算机识别视频中的对象时,首先需要一个参照物来和视频中的对象比对,这个参照物就被称作目标模版,它可能是被识别对象的照片或者其在其他视频中的截图。”

让你的弹幕更“聪明”西浦最新研究成果升级视频中人物和背景分割技术

“当计算机根据目标模板识别出了视频中某一帧的对象后,理论上来说这一帧的对象是可以替换原有的目标模板来进行后续信息识别的,因为它更接近视频里的真实信息。但因为视频是动态的,可能这一帧的精确度并不高,或者周围有遮挡物,如果这种情况下依旧用它进行后续识别的话,识别的精确度就会下降,甚至会导致目标模版损坏、无法继续识别。”

孙铭杰表示,在使用强化学习算法训练这个模型后,它可以主动学习提升,能够像一个“智能开关”一样自主决定是否需要替换模板,“和以前手写很多规则的解决办法相比,我们提出的模型覆盖的规则更为全面,而且节省人力。”

测试结果表明,他们的模型在速度和质量两方面都有所提升,对视频对象进行追踪与分割的工作效率明显优于其他几组。

孙铭杰是由西浦智能工程学院院长林永义教授和肖继民博士共同指导的博士生。林教授表示,作为博士生第一年的研究项目就可以成为西浦首篇发表在CVPR会议上的文章,这是对学生探索能力和老师教学能力的肯定。“在这个过程中,不论师生都颇有收获,这也是我们在做科研的过程中紧贴研究导向型教学理念的一种体现。”

相关内容

热门资讯

数学教研组工作计划 数学教研组工作计划(精选27篇)  时光在流逝,从不停歇,又迎来了一个全新的起点,让我们一起来学习写...
员工工作计划 【必备】员工工作计划范文集锦8篇  光阴的迅速,一眨眼就过去了,迎接我们的将是新的生活,新的挑战,写...
六年级上册语文教学工作计划 人教版六年级上册语文教学工作计划  无情的时光老人像一阵寒风,走得无声又匆匆,我们的教学工作又将在忙...
财务工作总结及工作计划 财务工作总结及工作计划15篇  日子如同白驹过隙,不经意间,我们的工作同时也在不断更新迭代中,此时此...
德育处工作计划 2021年德育处工作计划  时间过得飞快,我们的工作同时也在不断更新迭代中,我们要好好计划今后的工作...
学生会素拓部工作计划 学生会素拓部工作计划  时光飞逝,时间在慢慢推演,我们又将续写新的诗篇,展开新的旅程,此时此刻需要为...
三年级第一学期班级工作计划 三年级第一学期班级工作计划  班名: 小脚丫班  班徽:两个小脚丫组成二(6)  班训(名言):  ...
小学上学期五年级班级工作计划 小学上学期五年级班级工作计划  时间过得飞快,又将迎来新的工作,新的挑战,不妨坐下来好好写写工作计划...
一年级班主任的班级管理工作计... 一年级班主任的班级管理工作计划  日子如同白驹过隙,我们又将续写新的诗篇,展开新的旅程,是时候认真思...
幼儿园班级安全工作计划 幼儿园班级安全工作计划范文(精选4篇)  时间流逝得如此之快,我们的工作又进入新的阶段,为了在工作中...