“感知技术，探索CG，体验艺术，启迪心灵”
在影视特效CG动画领域，我们致力于分享前沿技术与创作经验。
最近，我尝试了利用AI将写实视频进行风格化处理，这一尝试在社交媒体上获得了广泛认可，收获了17万点赞和1.8万评论。许多朋友希望了解我是如何做到的，因此我决定分享我的探索与总结。
目前，利用AI制作动画有多种路径，主要包括：A. 根据参考视频进行风格迁移；B. 文本生成动画；C. 根据静态图生成动画等。不同的方式涉及不同的技术路径。在每一大类的末尾，我会附上推荐的教程链接，这些教程在探索过程中对我帮助很大。
一、根据参考视频进行风格迁移
代表性工具包括Runway Gen-1、Stable Diffusion + EbSynth、Rerender和Warpfusion。
相比从文本生成视频，我更关注根据参考视频生成AI动画。因为视觉艺术的工作流程通常是从草稿到成品，而文本生成画面的工具由于可控性低，生产效率也较低。
Runway Gen-1是一个基于风格迁移的工具，通过提供原视频和参考图，可以生成新的视频。然而，在实际使用中我发现它无法完全按照我的参考图进行风格迁移。为了提高稳定性，我尝试使用Stable Diffusion绘制关键帧，再用EbSynth根据原视频和关键帧补齐其他帧。这种结合的方式既保证了AI的想象力，又节省了算力，维持了画面稳定。
Rerender是一个不错的解决方案，它认为不应该让AI计算每一帧，而是只计算关键帧。这样不仅可以节省算力，还能保证不同关键帧之间的信息连续和一致。目前，这个工具在Hugging Face上可以测试demo，完整代码尚未开源，值得持续关注。
此外，我还发现结合影视行业的特效和剪辑工具能进一步提升画面效果。例如，使用Warp Fusion结合AE转场效果和PR剪辑，可以制作出更连贯的动画。
二、AI生长类动画
代表性工具包括Disco Diffusion和Stable Diffusion Deforum。这类工具通过指定不同关键帧上的画面内容和镜头运动，使AI生成连续的动画。由于实验性强，适合制作实验动画或MV。我尝试用这种方式制作短片故事动画，通过控制AI生成的参数和影视镜头语言的映射关系，实现了有趣的动画效果。
三、根据生成动画
代表性工具包括D-ID、Movio、Artflow和Pika Labs等。这些工具让静态图像动起来，底层算法大多基于First Order Motion进行开发。基于这类工具制作的内容效果很好，例如汗青老师的AI Talk系列和《如果哈利波特是巴黎世家拍的》。
推荐教程
- Runway Academy：整合了Gen-1和Gen-2的使用方式：链接
- Stable Diffusion动画推荐教程：在Reddit的/stablediffusion子论坛：链接
- EbSynth推荐教程：官方教程和Academy of Edits的进阶教程：链接
- Warpfusion推荐教程：由Prompt Muse和Sxela的DC频道提供：链接
AI动画领域有许多核心论文值得一读：Runway Gen1、AnimateDiff和First Order Motion Model等。这些论文提供了深入理解AI动画制作技术的途径。
希望这篇文章能对你有所帮助。我正在用Gen-2做一些影视及广告项目，如果顺利的话，将尽快与大家分享成果和经验。如果你想更及时地了解我的尝试，欢迎关注我的微博或即刻账号。
谢谢你阅读到这里！预祝你立秋愉快！
© 版权声明
本网站上的所有资源均来源于本网站，所有网址和文章版权均归原作者所有。如有侵权行为，请将相关证明发送至以下电子邮件地址：dxsen@qq.com
