Thera:支持任意尺度的图像放大并保持高清
Thera是什么?
Thera是一种基于神经热场的超分辨率方法,能够实现无混叠的图像无损放大。它通过内置的物理观测模型,确保在任意放大倍率下都能生成高质量的图像,适用于图像增强、视频高清化、医学影像、安防监控等领域。Thera由苏黎世联邦理工学院(ETH Zurich)和苏黎世大学联合开发。
Thera工作原理
Thera 使用超网络估计像素级局部神经热场的参数,通过全局学习的成分和热激活机制,根据频率和目标放大比例调整图像细节,最终生成连续的局部神经场并光栅化输出。
Thera功能特征
任意尺度超分辨率:Thera 支持任意尺度的图像放大,能够根据需求灵活调整放大比例。
无混叠:通过内置的物理观测模型,Thera在设计上保证了正确的抗锯齿效果,避免了图像放大过程中常见的边缘模糊和锯齿现象。
神经热场:使用超网络估计像素级局部神经热场的参数,通过全局学习的成分和热激活机制,根据频率和目标放大比例调整图像细节。
连续局部神经场:生成的连续局部神经场能够实现平滑的图像过渡,避免了传统方法中可能出现的不连续性。
高质量图像重建:在多种超分辨率基准测试中表现出色,能够保留更多图像细节,同时避免过度平滑。
高效计算与采样:通过线性组合和光栅化技术,Thera 能够在适当的采样率下高效生成最终图像,适用于不同分辨率需求。
Thera应用场景
图像和视频增强:提升低分辨率图像和视频的清晰度,适用于老照片修复、视频高清化等。
医学影像:提高医学图像(如CT、MRI)的分辨率,辅助更精准的诊断。
安防监控:增强监控视频的细节,便于识别和追踪。
卫星遥感:提升卫星图像分辨率,用于环境监测和地理信息分析。
机器视觉:提高人脸识别、车辆识别等场景的图像质量,提升识别精度。
实时渲染和游戏:动态提升游戏画面分辨率,改善视觉效果。
相关链接
GitHub仓库:https://github.com/prs-eth/thera
项目主页:https://therasr.github.io/
论文:https://arxiv.org/pdf/2311.17643
DEMO:https://huggingface.co/spaces/prs-eth/thera