Ev-DeblurVSR:一个去除视频模糊又能提升视频分辨率的工具
Ev-DeblurVSR是什么?
Ev-DeblurVSR 是一个通过结合事件数据来增强模糊视频的超分辨率重建效果的技术 ,来自中国科学技术大学、合肥综合性国家科学中心人工智能研究院、新加坡国立大学等机构,它可以在去除视频模糊的同时提升视频分辨率。它在2025年的AAai会议上展示了相关成果。
Ev-DeblurVSR 的功能
- 视频去模糊:能搞定视频里的模糊问题,不管是运动模糊还是手抖造成的,都能让视频变得清晰。
- 视频超分辨率:能把低分辨率的模糊视频变成高分辨率的清晰视频,最高支持4倍分辨率提升。
- 实时处理:可以实时处理图像和视频的去模糊,适合用在需要即时效果的场景。
Ev-DeblurVSR 的技术亮点
- 事件相机数据融合:它用上了事件相机的数据,这种相机能捕捉光线变化的瞬间,提供更精确的时间信息。
- 双向特征去模糊模块(RFD):利用帧内事件的运动信息来去除模糊,同时结合全局场景上下文增强效果。
- 混合可变形对齐模块(HDA):结合帧间事件信息和光流,提升运动估计的精度。
- 性能优化:在真实数据测试中,Ev-DeblurVSR 比之前的最佳方法 FMA-Net 更准确(+2.59dB),速度还快了7.28倍。
Ev-DeblurVSR 的应用场景
- 视频监控:能清理因摄像头抖动或其他因素导致的模糊视频,让监控画面更清晰。
- 运动捕捉:在体育分析、虚拟现实等领域,为高分辨率视频需求提供支持。
- 电影后期制作:可以修复或增强老视频片段。
常见问题
问:Ev-DeblurVSR 网络与其他基于事件的 BVSR 方法相比,优势主要体现在哪些方面?
答:Ev-DeblurVSR 通过互易特征去模糊模块和混合可变形对齐模块,更有效地融合帧与事件信息、增强时间一致性。在 GoPro 数据集上,它的PSNR 值达 32.51,高于其他基于事件的方法,如 EFNet + EGVSR 的 23.53 等;在真实数据上,相比 FMA-Net,精度提升 2.59dB 且速度快 7.28 倍。
问:互易特征去模糊模块是如何具体实现帧特征去模糊和事件特征增强的?
答:互易特征去模糊模块利用帧内事件运动信息对帧特征进行去模糊处理,同时借助帧的全局场景上下文来增强事件特征,实现两者信息的有效融合与相互提升,具体实现涉及对帧和事件的特征提取、交互处理等操作。
问:混合可变形对齐模块中,帧间事件和光流的互补运动信息是怎样协同工作来改进运动估计的?
答:混合可变形对齐模块充分利用帧间事件和光流的互补运动信息,通过将两者的运动信息进行融合、互补计算,在可变形对齐过程中更准确地估计物体运动,从而增强时间一致性。
项目主页:https://dachunkai.github.io/ev-deblurvsr.github.io/
论文:https://arxiv.org/pdf/2504.13042
Github:https://github.com/DachunKai/Ev-DeblurVSR