影史第一片《火车进站》秒变 4K 高清，AI 预测+插值，黑白也能变“彩电”

　　最近，在YouTube上出现了一个不一样的“火车进站”视频，不同于1895年拍摄的原版，这部视频是由神经网络增强的“百年老片”，将原有的模糊视频直接提升到了4K高清。

1. 百年老片变4K高清

　　《火车进站》这部电影最初采用了35mm格式胶片制作，由于当时的放映机由手摇驱动，其原始帧率大概在16帧到24帧之间。由于当时的胶片技术尚未成熟，画面景物比较模糊，火车在驶来的同时还带有明显的拖影。但经过神经网络的画面分辨率增强和插帧后，这部老电影获得了4K~60fps的画质。如果不是电影黑白的画面和胶片电影独有的画面抖动，其画面流畅度和清晰度几乎可以与现在的智能手机相媲美。

　　这部影片的修复工作是由一位名叫Denis Shiryaev的男子完成的，他使用的是Topaz实验室的Gigapixel AI以及DAIN图像编辑应用程序。在修复过程中，他不仅将镜头提高到了4K，还将帧率提高到了每秒60帧。Gigapixel AI软件内嵌专有的插值算法，能够在分析图像的同时识别图像的细节和结构，即使将图像放大600%，也能保证图像的清晰。值得一提的是，电影中的部分图像是通过GAN生成的。

　　另一方面，DAIN（Depth-Aware Video Frame Interpolation）可对电影中的帧进行预测，并将其插入现有视频之中。换句话说，DAIN分析并映射视频剪辑，然后在现有图像之间插入生成的填充图像。为了在这段1896年的视频中达到与4K同样的效果，Shiryaev为电影填充了足够多的图像，从而将“图片放映”提高到了每秒60帧。因此，DAIN每秒会自动生成36个图像然后添加到电影中。

2. DAIN基于深度学习的视频插帧技术

　　将百年老片修成4K大片，深度学习技术出了不少力，特别是视频插帧技术在深度学习中的体现。深度感知视频帧内插（Depth-Aware Video Frame Interpolation）并不是最近才出现的技术。早在2019年，此项技术的相关论文就被收录到CVPR 2019，相关算法也已经开源在Github上。论文的第一作者Bao Wenbo是上海交通大学电子信息与电气工程学院的博士生。具体工作是基于其在2018年发表的论文MEMC-Net做的改进。

　　具体到算法层面，研究人员提出了一种通过探索深度信息来检测遮挡的方法。一个深度感知光流投影层来合成中间流，中间流对较远的对象进行采样。此外，学习分层功能以从相邻像素收集上下文信息。整个算法分为光流、深度、上下文特征、插值kernel、框架合成这几个部分。在光流估计模块，采用PWC-NET光流估计模型；在深度部分，不同于过去的网络模型采用的是计算平均值的方式，为了处理遮挡区域的问题，作者提出了一种使用深度辅助来计算tt时刻的光流融合结果的方法；上下文特征部分，作者基于Residual block自己设计了一个提取上下文特征的网络；插值kernel自适应warping layer部分，主要思想是通过光流找到像素的新位置后，将其新位置周围4×4范围内与一个特殊的kernel相乘后作为该点的像素值；框架合成部分，构建了一个帧合成网络。

　　总的来说，作者提出了一种depth-aware视频插帧方案，并尝试显式的解决遮挡区域的问题。这种类型的深度学习技术在具体的电影修复中能发挥重要的作用。例如，《开国大典》和《决胜时刻》等电影都采用了AI技术进行修复。利用卷积神经网络和最先进的图像识别技术，让经典老电影重现光彩已经不是遥不可及的事情。与其他方法相比，通过基于深度学习的技术来修复电影可以节省时间和精力。经典电影的修复和数字化也能使人们能够更方便地获得更多文化产品。