控制名为 AI 的魔法，关于将 AI 绘画融合于工作流的案例和经验

　　一、风格探索：从“美影厂”到“敦煌”的跨越

　　这次风格尝试的灵感源自一个令人惊艳的国风水墨画LoRA模型——墨心。这个模型无疑是当前表现中国山水画最强的AI工具，其背后的创作理念和技巧值得我们深入探索。

　　首先，取法乎上得其中，墨心选择以明清两代的绝顶大师为临摹对象，包括吴昌硕、郑板桥、任伯年等名家。其出色的表现，实则是AI通过机器学习大师们的笔法精髓所得。

　　在数据集标注上，墨心作者投入了大量心血，对每张图片都进行了详尽的领域内描述。我则借助ChatGPT，将描述翻译成英文并替换进去，以提升模型的国际适应性。

　　上图展示了墨心作者提供的数据集案例，共使用209张图，每张图都经过100次训练。尽管数据集以山水草木鸟为主，但AI在学会这些技法后，竟能将其应用于肖像绘画中，这无疑是AI艺术的神奇之处。

　　受此启发，我采用70多张上海美影厂早期作品的截图，以Deliberate模型为底，通过LoRA微调方式，制作了一个上海美影厂的LoRA模型，并成功生成了迪士尼的公主和王子形象。这一尝试不仅让我领略到AI的无限可能，更感受到墨心作者对国画艺术的深刻理解。

　　近期参观敦煌壁画展的经历，让我对AI与艺术的结合有了更深思考。敦煌壁画将不同时间点的故事事件巧妙融合于一幅图中，这种“异时同图”的叙事方式令人叹为观止。它让我联想到特德姜的小说《你一生的故事》，不禁遐想：敦煌时期的人们是否也拥有“我生活在人生的所有时刻”的世界观？

　　当前算法模型的产出多符合线性思维方式，呈现的是“此刻”或“某个状态”。尽管已有众多产品能仿制敦煌风格，但AI真的能理解文殊菩萨骑狮子、普贤菩萨骑大象的寓意吗？如果我们希望留下给后代的或AI的遗产，不应仅限于色彩或构图，更应包括故事和看待世界的方式。

　　我设想将“异时同图”的叙事逻辑作为标注给AI，教会它这种新的叙事方式，让故事的不同时刻和状态在同一张画里显现。这可能需要更多垂直领域的从业者懂一些算法知识。

　　二、角色尝试：从“恋与制作人”到真人卡牌

　　探索角色模型的原因，主要是受到堪云工造老师赛博Coser系列的启发。据堪云老师描述，这是基于ChilloutMix模型，用二次元角色立绘提取特征训练LoRA后生成的。

　　我则在ChilloutMix上，通过喂入二次元男性角色立绘，对模型的角色特征进行纠正，做出了画男生的LoRA模型。LoRA的神奇之处在于可叠加不同模型使用。除了写实模型外，我还尝试了以下组合：

• 角色LoRA + 贴纸模型waves-chibi-style
• 角色LoRA + 大头娃娃模型bigheaddoll_v1
• 角色LoRA + 古风模型moxin1.0
• 角色LoRA + 吉卜力模型StudioGhibliStyle

　　角色特征和风格特征可通过LoRA成为可独立管理的资产，在需要时通过AI进行融合创作。同时，ControlNet技术为创作者提供了更大的控制力，可根据提供的线稿、深度图、姿势图等进行完全遵循个人创作思路的生成。我尝试使用ControlNet从转成图的效果及图像在不同参数下生成效果的变化，并得到了ControlNet开发者本人的转发和认可。这让我深感自己不仅受益于开源社区，成果也能激励开发者。

　　ControlNet还可实现多层控制，如人物姿势和背景线条分开控制等。我使用自己做的角色LoRA将《恋与制作人》的卡牌角色周棋洛进行了真人复活尝试。该系列在小红书上也受到了用户的喜爱。这让我体会到：如果要拿AI做内容的话，必须是对这个内容有了解、感兴趣或喜欢的人来做。

　　三、应用尝试：从“永劫无间”到“AI Bubbles”虚拟时尚杂志

　　在熟悉LoRA训练和ControlNet使用后，我开始思考是否有机会用AI流程出游戏美宣质量的图。此时，《永劫无间》推出了新角色胡为。我决定尝试为这个角色制作二创美宣图。我进入测试服游戏界面截取了一系列该角色各个角度的图片并训练了以这个角色特征为主的LoRA。由于游戏风格原因我选择混合了古风和写实真人的模型作为底模。

　　训练完成后结合ControlNet生成指定姿势的写实风格人像再用Midjourney生成虎纹和背景火焰元素并在Photoshop里叠加布料做旧和火花特效。虽然装备质量和细节还需提升但大体效果令我非常满意和喜欢从模型训练到最终合成渲染一共只用了2天时间。

　　最后和大家分享一个应用尝试——如何让AI学习指定风格的服装并让赛博模特穿出效果图是最近AIGC圈子里关注的子方向之一。我和朋友Momo桑做了一个以y2k风格为主的服装搭配LoRA模型并以AI作为“模特”以此LoRA模型作为“造型师”尝试做了一个虚拟时尚杂志《AI Bubbles》。我们在训练LoRA的过程中喂了许多y2k风格的单品样图在模型生成的时候通过描述词尽可能精准地去贴单品的版式和特征对于常见款式来说是有效的对于花纹比较繁复的还是容易翻车不过我们逐渐在单品控制上效果越来越好如果对本项目感兴趣也可以关注我们的项目小红书@AI Bubbles泡泡。虽然不相信AI模特会真的取代真人模特因为至少我和身边很多朋友都还是会更想看到真人模特试穿衣服还原衣服上身效果这样才会觉得比较安心去购买但这种流程我相信一定会能催生出新的内容载体找到其存在的方式。