185、计算摄影的视频应用：AI EIS、AI 降噪、AI 超分在视频实时处理中的挑战

185、计算摄影的视频应用：AI EIS、AI 降噪、AI 超分在视频实时处理中的挑战

去年Q3，我接手一个旗舰机项目，客户反馈视频防抖在跑步场景下画面“果冻感”严重，边缘像被揉过的纸。我第一反应是陀螺仪数据同步有问题，结果查了三天，发现是AI EIS模型在帧间运动估计时，对高频抖动做了过度平滑——模型把跑步的周期性震动当成了噪声，直接抹掉了，导致画面像隔着一层水在看。这个坑让我意识到，视频上的AI算法和拍照完全是两码事。

AI EIS：实时防抖的“时间窗口”陷阱

传统EIS靠陀螺仪+裁切，延迟可控在1-2帧。AI EIS引入光流或深度估计，理论上能补偿更复杂的旋转和透视畸变。但视频是流式数据，模型推理必须在一个帧周期内完成——比如30fps就是33ms，60fps只有16ms。你不可能像拍照那样等几百毫秒。

我踩过的第一个坑是模型输入尺寸。为了精度，团队把光流网络输入设成了640x480，结果在骁龙8 Gen2上推理耗时45ms，直接掉帧。后来改成320x240，精度下降不到5%，但耗时降到12ms。这里有个关键：视频防抖不需要全分辨率光流，边缘区域对防抖贡献很小，可以降采样后做稀疏光流，再上采样回原图。

另一个坑是帧间一致性。AI EIS如果每帧独立做运动补偿，帧与帧之间的裁切边界会抖动，肉眼看着像画面在“呼吸”。解决方案是引入时间滤波器，对裁切参数做低通滤波，但滤波系数不能太大——我试过0.9的系数，画面是稳了，但运动响应滞后，用户手快速移动时画面会“粘住”。最终调成0.7，配合陀螺仪预测下一帧的裁切量，才勉强平衡。