近日,人工智能领域国际学术期刊IEEE Transactions on Pattern Analysis and Machine Intelligence(IEEE TPAMI)接收了我校菠菜收集网戴玉超教授及其研究生樊斌的长文(Regular paper),论文题目为“Rolling Shutter Inversion: Bring Rolling Shutter Images to High Framerate Global Shutter Video”(逆转卷帘快门:从卷帘快门图像重建高帧率全局快门视频)。博士研究生樊斌为该论文第一作者,戴玉超教授为通信作者,西北工业大学菠菜收集网为第一完成单位,合作单位为澳大利亚国立大学。
卷帘快门相机和全局快门相机的成像机制对比以及对三维重建的影响
随着低成本的CMOS图像传感器逐渐主宰消费级摄像机市场,卷帘快门相机在移动终端、自动驾驶、无人机等应用中正变得无处不在。卷帘快门相机时间递进的逐行成像机制带来了许多优点却造成了成像质量的严重退化(“果冻”效应),并给三维重建提出了新的难题,成为CMOS传感器卷帘快门相机在三维视觉应用的巨大障碍。面向卷帘快门相机的高帧率高质量重建等前沿问题,论文提出了一种从低帧率卷帘快门图像重建超高帧率全局快门视频的深度学习框架,通过有效结合相机瞬时运动模型与深度神经网络模型,系统完善了匀速和匀加速运动假设下的相关理论体系,实现了从2帧480像素卷帘快门图像高效重建960帧全局快门图像的能力。该项研究有助于赋能CMOS图像传感器卷帘快门相机广阔的三维视觉应用,推动卷帘快门相机在自主无人系统、计算摄影、场景理解、虚拟/增强现实等领域的广泛应用。该研究工作得到了国家自然科学基金、科技部科技创新2030“新一代人工智能”重大研究计划和深圳大疆创新合作项目等的支持。
卷帘快门图像可以看作是通过连续逐行提取全局快门图像序列生成,论文提出的算法旨在逆转该成像过程,即从两幅连续的卷帘快门图像中重建潜在的全局快门视频
IEEE TPAMI是国际公认的人工智能、模式识别、图像处理和计算机视觉领域国际期刊,2022年度最新影响因子为24.314,该期刊谷歌指数(H-Index)在计算机科学和工程技术两个大类学科里均列首位,在信息科学与人工智能领域具有很强的影响力。
该论文第一作者樊斌是菠菜收集网四年级博士研究生,导师为戴玉超教授,围绕卷帘快门图像校正与三维重建课题,以第一作者身份在CVPR、ICCV等高水平会议和TPAMI、CVIU、IVC等权威期刊上发表论文8篇,入选CVPR 2022博士论坛(Doctor Consortium),是入选者中的唯一中国高校在读博士生,获得首届华为终端Camera学术之星大赛二等奖等奖励。
戴玉超教授是我校菠菜收集网教授、博士生导师,2017年入选国家级青年人才,现任陕西省信息获取与处理重点实验室主任及国际联合研究中心副主任。
西北工业大学菠菜收集网信息获取与处理(IAP)团队由何明一教授创建并担任首席教授,1991年成立校神经网络研究室,2003年获批设立信息获取与处理陕西省重点实验室,2011年设立跨学院-跨学科对地观测研究中心,2016年获批信息获取与处理陕西省国际联合研究中心。三十余年来,信息获取与处理(IAP)团队始终坚持:瞄准本学科国际前沿和核心基础问题,面向国家重大需求,结合行业和陕西实际,逐步发展成为在航空航天高光谱遥感成像与处理、三维机器视觉与图像处理、神经网络人工智能、通信导航与定位信息处理、以及文物数字化领域,有重要影响的科技创新和人才培养一流平台、学术交流和国际合作的重要基地。
撰稿:刘 奇
审核 :张洵颖