论文深读：Enhancing Video Super-Resolution via Implicit Resampling-based Alignment

论文：Enhancing Video Super-Resolution via Implicit Resampling-based Alignment
作者：Kai Xu, Ziwei Yu, Xin Wang, Michael Bi Mi, Angela Yao（NUS）
会议：CVPR 2024
ArXiv：2305.00163v2

一、介绍：对齐里的"隐形台阶"

视频超分辨率（VSR）的核心卖点是利用时间维度的信息，而时间信息要能用的前提，是先把相邻帧对齐（Alignment）。

现有 VSR 方法在对齐上花的功夫不少：光流（Optical Flow）、可变形卷积（Deformable Conv）、可变形注意力（Deformable Attention）……但有个关键步骤一直被所有人默认忽略了——重采样（Resampling）。

对齐的本质是两步走：

1. 运动估计（Motion Estimation）：算出像素位移场M
2. 运动补偿（Motion Compensation）：根据M把参考帧 warp 到当前帧

第二步 warp 的时候，算出来的位移往往是亚像素精度（小数坐标），而参考帧只在整数坐标上有值。这时候